本发明公开了一种车辆行为识别方法，特别是提取匹配差分图像特征以识别车辆行为的方法，属于智能交通的技术领域。本发明对预处理后的图像进行差分处理，提取差分图像的水平边缘生成车辆特征描述子，由相邻两帧匹配成功的车辆特征描述子确定车辆运动轨迹，再由车辆运动轨迹分析车辆行为，对复杂场景下的各种干扰，有很好的抑制作用，同时计算量小且可靠性高，有效避免了运动目标检测中的背景干扰问题和单幅图像中特征提取的计算量大问题。