本发明公开一种基于TLD的视频目标跟踪方法，步骤是：（1）在跟踪目标的起始帧，根据给出的位置和大小信息生成图像子窗口，对检测器进行训练；（2）跟踪器根据目标在上一帧中的位置和大小信息，估计出目标在当前帧中所在的区域；（3）用检测器对当前帧进行检测，找出当前帧中所有可能的目标；（4）对跟踪器和检测器的结果进行融合处理，判断当前帧是否存在目标，不存在则返回步骤（3）对下一帧进行处理；存在则给出目标位置以及判断当前帧的跟踪轨迹是否有效，无效则返回步骤（2）对下一帧进行处理；有效则完成检测器的在线更新，回到步骤（2）对下一帧进行处理。此种方法对现有的TLD算法进行改进，获得比TLD算法更理想的视频目标跟踪算法。