本发明公开了一种基于轮廓骨架图的视频场景行为生成方法。包括步骤：综合运动对象的骨架和轮廓信息，构建一种面向生成的视频场景行为表示轮廓骨架图，在待生成图像中提取目标对象的原始轮廓骨架图，在参考行为视频中逐帧提取参考对象的轮廓骨架图，生成参考对象的轮廓骨架图序列，然后通过局部约束与全局约束相结合的方式，变形目标对象的原始轮廓骨架图，得到目标对象的目标轮廓骨架图序列，再利用三角剖分方法和仿射变换，完成目标行为视频中目标对象的纹理映射，输出目标行为视频。本发明实现了操作成本低、具有全局一致性、减少失真现象等优点，可以广泛地应用于交互式数字娱乐、体育研究与训练模拟等的虚拟行为生成。