本发明公开了一种基于替换分量拟合的全色与多光谱图像融合方法，该方法首先对全色图像进行亮度拉伸，并将多光谱图像插值成与全色图像相同分辨率的插值图像；对多光谱插值图像进行矩阵变换，得到待替换分量和保留分量，并将全色图像与待替换分量做减法，得到差值图像；然后，对差值图像进行高斯滤波，得到差值趋势图像，并将全色图像减去差值趋势图像，得到拟合的全色图像；最后，将拟合的全色图像替换待替换分量，并进行矩阵逆变换得到融合图像。与现有技术相比较，本融合方法避免现有分量替换分量的光谱失真现象，适应性好。