本发明提供了一种基于增量学习人脸分块视觉表征的视频人脸识别方法，属于模式识别领域。本方法使用Adaboost算法在人脸视频第一帧的正面人脸图像进行检测，使用Camshift算法进行跟踪，得到所有人脸图像，在读入视频过程中，对人脸图像进行增量聚类，并从每类人脸图像中选取代表；对代表图像进行处理，学习基于块视觉表征的视觉词典；使用视觉词典对人脸图像进行表征；最后根据相似矩阵对人脸图像构成的视频进行识别。本发明方法能够提高视频人脸在光照、姿态，以及跟踪结果不理想状态下的识别率和鲁棒性，能够有效、便捷、自动地检测、跟踪和识别视频中的人脸。