本发明提供一种基于移动视频提取车辆及驾驶人信息的方法，其基于颜色直方图特征、图像边缘特征，利用聚类算法自动的从镜头单元中提取关键帧，后续的车辆信息、驾驶人信息都基于关键帧进行计算，无需对所有的视频数据中的图像帧进行计算，有效的降低了后续车辆信息、驾驶人信息计算的复杂度和计算量；在提取关键帧的过程中，无需人工设定图像分类的类型，而是通过结合颜色直方图特征从全局的角度和图像边缘特征从局部的角度计算图像间的差异度来自动抽取关键帧，确保了抽取的关键帧的准确性和完备性，进而保证了后续车辆信息、驾驶人信息计算的准确性。