本发明公开了一种视频场景的虚实光照融合方法，包括如下步骤：从视频中按照相等的时间间隔抽取视频关键帧，然后分别以视频关键帧图像中的天空、地面以及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图；通过光照参数滤波算法，利用视频关键帧的光照估计结果，修正视频非关键帧的光照估计结果，实现视频场景的虚实光照融合。其有效平滑了生成虚实融合视频的光影效果。