本发明是一种视频场景行为拼接方法，实现视频场景拼接和不同视频中运动物体的行为拼接，包括：首先，在图像配准的基础上，网格划分视频图像，形成图像块结点集合和图像块标签集合，利用图像块聚类算法，为每个图像块结点生成图像块标签类代表候选集，分别构建并求解图像块结点的二维和三维马尔科夫随机场，生成静态和动态背景；然后，在运动物体轨迹提取的基础上，通过计算不同视频运动物体之间的轨迹相似性和位置相似性，给出运动物体行为的可拼接性，在时间和空间上对齐视频；最后，利用泊松融合算法，融合全景动态背景视频和运动，生成行为拼接后的视频场景。