本发明提供了一种光谱图像处理方法，属于遥感图像数据处理技术领域。本方法利用光谱成像仪获取谱段间具有亚像素位移的光谱数据立方体，并获取各个谱段图像之间的亚像素位移，建立窄谱段低分辨图像与宽谱段高分辨图像之间的物理关系模型‑图像降质模型，基于建立的图像降质模型和亚像素位移计算出光谱响应系数，将亚像素位移和光谱响应系数代入所建立的图像降质模型，并基于该图像降质模型进行图像超分辨率重建。本发明避免由辐射度基础不同造成的图像失真，以及由于时间和环境变化而引入的辐射度误差，适用于现有多种基于空间域超分辨的图像超分辨方法。