本发明提出了一种基于轮廓约束的视频运动目标分类识别方法，包括：(1)使用基于颜色特征、纹理特征和形状先验约束的水平集分割算法获得实际目标区域和目标轮廓；(2)使用高斯滤波对实际目标区域进行卷积运算，得到目标的空间细节分量；(3)提取目标空间细节分量的局部二值模式直方图，得到目标的纹理特征；(4)提取实际目标区域中轮廓约束局部区域的方向梯度直方图，得到目标的边缘梯度特征；(5)提取训练样本目标的纹理特征和边缘梯度特征并使用机器学习方法进行训练，获得目标分类模型；(6)提取待识别目标的纹理特征和边缘梯度特征，输入分类模型，确定目标的类型。本发明基于轮廓约束的视频运动目标分类识别方法，提高了复杂室外条件下的分类准确率。