本发明涉及一种基于视觉显著性和深度自编码的公共场景智能视频监控方法，包括：对视频进行单帧分解，使用视觉显著性提取运动信息，然后计算相邻帧运动物体的光流，之后的检测过程分为训练和测试两个过程，在训练中，以训练样本的光流作为自编码的输入，通过最小化损失函数来训练整个自编码网络，在测试阶段，分别以训练和测试样本的光流作为输入，提取训练好的自编码网络中的编码器，通过降维提取输入的特征，然后可视化降维后的结果，使用超球体表示训练样本的可视化范围，在输入测试样本时，使用同样的方法可视化，若样本可视化的结果落入超球体范围内，则判定样本正常；反之，落在超球体范围之外，判定样本异常，由此实现视频的智能监控。