针对高光谱遥感图像分类标注问题，本发明公开了一种半监督的高光谱遥感图像分类标注方法，该方法包括：通过人工样本采集获得少量已标注训练样本(含类别标注真值)、大量未标注训练样本和测试样本；通过直推式支持向量机构造条件随机场的关联势函数；通过改进的Potts模型构造条件随机场的交互势函数；通过遗传算法对条件随机场模型进行训练；通过训练得到的条件随机场模型对测试样本进行推断，获得其分类标注结果。本发明所得到的高光谱遥感图像分类标注结果相比于单独使用条件随机场算法或直推式支持向量机的分类标注结果，去掉了大量的孤立噪声点，具有较好的区域连续性且精度较高。