本发明公开了一种实时的直线段匹配方法，包括以下步骤：1)图像采集；2)直线段检测；3)直线段合并；4)直线段描述符构建；5)描述符匹配。本发明采用基于梯度生长的直线段检测方法，从而无需对图像进行边缘检测，避免了二值化阈值选取的影响。采用直线段合并的方法，避免了细碎短小直线段的干扰，同时降低了计算量。采用直线段之间的相对位置分布这一几何关系，对弱纹理区域的直线段有较好的描述能力，且具有旋转不变性，能够达到实时匹配。另外，本发明无需对图像进行边缘检测，并且适用于不同尺寸直线段的匹配；同时，本发明能够适用于多直线段场景中的快速匹配。最后，本发明在军事上可用于特定目标的跟踪匹配，如机场跑道等；航空航天中可用于非合作目标感兴趣区域的末端匹配跟踪等。