本发明公开了一种基于视频的人脸识别方法，包括如下步骤：S01：获取待识别人脸视频中的一帧待测人脸图像，对该待测人脸图像进行人脸定位识别；S02：建立该待测人脸图像对应的键值对集合；S03：当该待测人脸图像对应的键值对集合不为空时，将该键值对集合加入状态链队列中，当状态链队列中键值对集合的个数等于k时，进入步骤S04；S04：根据状态链队列中k个键值对集合以及白名单中存储的m个标准人脸图像，分别计算k帧待测人脸图像与白名单中每个标准人脸图像的总相似度；S05：将上述计算出来的总相似度按照降序排列，形成B序列，并根据B序列输出识别结果。本发明提供的一种基于视频的人脸识别的方法及装置，能够进一步降低人脸辨识的错误率。