本发明公开了一种结合视频场景特征感知的多目标跟踪方法，包括如下步骤：采用深度网络检测初始视频帧中的目标，确定目标的位置、尺寸等信息；将目标图像输入到特征提取网络提取目标的外观特征，同时将视频图像输入CNN进行场景感知，结合场景特征和检测目标的信息，通过LSTM网络预测目标的运动状态；根据目标的外观特征和运动特征分别计算检测目标与已跟踪目标的外观相似度和运动匹配度，融合得到最终的距离度量；根据距离度量采用匈牙利方法进行检测目标和轨迹的匹配；采用上述方法进行下一帧视频的处理，直至视频结束。所述方法克服了已有多目标跟踪方法在复杂场景下跟踪精度低的问题，因此具有更加广泛的适用性，同时具有实时跟踪的能力。