一种通过分析深度进行视频场景分层的方法，主要实现手持相机拍摄视频中不同深度层下的物体提取，步骤为：（１）对视频帧进行自适应采样，抽取视频帧中的关键帧；（２）对关键帧进行过分割并获取关键帧的深度图，以过分割块为结点构建关键帧的无向带权图；（３）建立相邻关键帧间的结点匹配权图；（４）依次对关键帧中的过分割块进行合并，并将合并结果传递给邻居关键帧，实现关键帧的同步分层；（５）获取原始视频帧的深度信息，将关键帧的分层结果传递给中间帧并优化分层结果。本方法可以有效的全自动的实现手持相机拍摄视频的场景分层，提高视频场景分层的精度和速度。