本发明公开了基于视觉共生矩阵序列的异常双人交互行为识别方法，包括步骤1:对摄像头采集的视频中的交互行为进行运动检测与分割；步骤2:对视频中左右动作执行人分别进行分区域HOG特征提取；步骤3:利用步骤2中提取的HOG特征，采用K‑means算法构建视觉单词，生成视觉词袋，并对视觉词袋中的单词进行编码；利用相似度量函数，对区域特征进行视觉单词编码；统计时间维度中交互个体之间的视觉共生关系，得到视觉共生矩阵序列来表示视频中的异常双人交互行为；步骤4:HMM算法的训练与识别。本发明提出的算法过程的方法简单、高效，识别准确率较高；针对识别智能监控系统中异常的双人交互行为，具有较好的识别性能。