本发明涉及一种基于组合判断策略的视觉目标跟踪方法，步骤如下：(1)针对目标尺寸变换问题，建立一个自适应尺度，从而自动调整跟踪框大小；(2)针对目标被遮挡后无法继续确定目标所在位置的问题，采用卡尔曼滤波对当前观测量进行预测，当目标重新出现后继续使用KCF算法跟踪目标；(3)针对目标快速移动造成跟踪失败的问题。本发明通过检测目标在相邻帧中位置移动距离，以此计算目标运动速率，自适应的调节检测区域大小扩展系数，能够在不同的环境下获得较高的精度，有效提高整个跟踪系统的鲁棒性，并保持较高的计算速度，具有很高的工程实用价值。