本发明公开了一种基于视觉的数字仪表识别系统及其识别方法,包括数字仪表、用于采集数字仪表的表盘图像的摄像机和用于图像数字识别的PC机，摄像机通过USB接口或图像采集卡与PC机相连。摄像机采集数字仪表图像上传至PC机，PC机负责对源图像依次进行图像预处理、图像字符分割、字符倾斜校正操作，最后采用BP神经网络模板进行字符识别。本发明中字符识别根据七段数码管的结构特征进行七处特征扫描，能够用较小的计算量来达到很高的识别率；对字符图像进行了字符倾斜校正，利于识别部分特征提取与模板匹配，提高了字符识别的准确率；采用了具有在线训练功能的基于BP神经网络的识别方法，增强了识别算法的稳定行和提高了鲁棒性。