本发明公开了一种基于双通道卷积神经网络的视频在线行为检测方法。首先，通过光流图片序列生成模块对输入的RGB图进行变换，得到光流图；其次，将得到的光流图与原RGB图通过双通道分别输入至两个相同的轻量双卷积核SSD网络中，分别提取出两种图的时序特征和空间特征以及检测框和置信分值；然后，通过融合模块对两种图片生成的检测框和置信分值进行融合，形成带检测框和置信分值的图片；最后，将带有检测框和置信分值的图片输入在线动作管道，从视频的角度给出最终的行为检测结果。本发明通过设计轻量双卷积核SSD网络，大幅度简化了深度学习网络，提高了行为检测效率。