本发明公开了一种基于融合深度学习模型的集成电路缺陷图像识别分类系统，提出使用基于深度卷积神经网络(CNN)的融合模型的方式对晶圆的缺陷图像进行在线自动识别分类，及时地侦测晶圆各类缺陷数量的变化；其核心机制是由两种融入学习机制的深度学习模型构建的缺陷图像特征提取方法，该深度CNN融合模型基于SE_Inception_V4、SE_Inception_ResNet_V2两种框架构建了Combined3缺陷图像分类模型，并利用序列模型优化(SMBO)算法对融合深度CNN识别模型进行超参优化，提升模型识别精度。增加了自动化水平。降低了识别成本，原因是AI模型取代工程师，并且工作效率大大提高。基于实时的识别分类结果，工程师可以及时统计缺陷数据，查找原因，进而调整工艺参数，提高良品率。