本发明公开了一种产线缺陷图像智能分类系统，包括缺陷数据输入模块，用于读入产线生成的缺陷图像数据；缺陷数据格式转换模块，用于将缺陷图像的数据格式转换为所需的图像数据格式；多层次智能分类模块，用于对数据格式转换后的缺陷图像采用多层分类方式进行智能分类；分类结果输出模块，用于输出已分类且已达系统分类性能要求的缺陷种类。本发明应用了基于深度学习的多层次智能分类模块，及具有提升算法的神经网络分类单元组成多层分类器，利用软件系统对产线缺陷图片进行分类，从而可提高缺陷数据分析效率，减轻相关制造企业在缺陷数据分析领域所耗费的资源。本发明还公开了一种产线缺陷图像智能分类方法。