本发明公开了一种面向虚拟场景生成的视频图像素材库的构造方法，首先定义视频图像素材在虚拟场景生成领域下的本体概念及表示；再将所述本体的信息从网络本体语言OWL描述转换成关系数据库描述，以构造视频图像素材库；针对虚拟场景生成的应用需求，结合所构造的视频图像素材库，在对象、动作、事件三个语义层次上标注生成虚拟场景所需视频图像素材的语义并写入素材标注库；或在对象、动作、事件三个语义层次上检索所述视频图像素材库中的视频图像素材；该方法能够提供生成虚拟场景所需的视频图像素材，并有效组织和管理视频图像素材库，为基于视频图像素材的虚拟场景生成系统提供数据库支持。