本发明提供了一种基于图像识别的汽车零件装配系统及其方法，属于汽车技术领域。它解决了现有的技术存在由于员工熟练度造成的错装漏装的产品质量问题。本基于图像识别的汽车零件装配系统包括通讯设备；移动终端，用于根据工位信息和车辆VIN码获取对应工位下对应VIN码的装配点的工作流程数据；AR穿戴设备，用于根据移动终端输送的控制指令对每一步操作步骤进行影像提示和声音提示，装配完成后进行零件图像捕获并输出装配完成后的图像信息；AI主机服务器，用于对AR穿戴设备输送的图像信息进行AI识别并判断其装配是否正确完成，进而通过AR穿戴设备进行提示。还提出了一种基于图像识别的汽车零件装配方法。本发明能够提高装配的精确性。