本发明涉及一种货运列车钩尾扁销部位故障的自动在线诊断方法及系统，包括图像采集部分和诊断部分，其中诊断部分又分为定位模块和识别模块；图像采集部分获取车钩图像，再由诊断部分中的定位模块和识别模块分别进行定位和识别；定位模块是在车钩图像中确定钩尾扁销的位置；识别模块是根据定位模块得到的钩尾扁销图像判断螺栓是否丢失；在定位模块中，将归一化的梯度幅值特征和6个方向的梯度直方图特征相结合形成复合维度特征，并使用线性支持向量机(SVM)来得到钩尾扁销的位置；在识别模块中，使用Haar特征来提取正常钩尾扁销图像和存在螺栓丢失的扁销图像之间的不同，并使用Adaboost决策树作为最终分类器来判断是否存在故障。