本发明公开了一种基于卷积神经网络的红外弱小目标检测跟踪方法，属于图像目标检测及跟踪领域。使用亮度特征估计目标中心与邻域像素的欧氏距离的计算方法，从而突出真实目标，实现红外弱小目标的快速检测。基于检测到的目标位置，采用全卷积非对称孪生神经网络DeepCF，对目标进行持续快速跟踪。根据设定的跟踪置信度参数T，判断目标是否被遮挡。如果出现遮挡则不断预测物体运动轨迹，并不断纠正。通过本发明可以实现快速准确的目标检测与跟踪。