本发明提供一种基于非局部回归和总差分的多视点RGB‑D图像超分辨率方法，该方法包含以下步骤：1)对输入多视点RGB‑D图像估计其他视点下相对于参考视点图像的偏移量，对参考视点深度图放大，并利用放大的深度图构建多视点RGB图与超分辨率结果间的映射矩阵；2)将RGB图像的超分辨率问题构建为能量最优化问题，并利用归一化的总差分做为约束项，实现RGB图像的超分辨率；3)基于所重构的RGB超分辨率图像，将非局部约束项耦合到一个二次矩阵系统中实现深度图超分辨率。本发明所提出的RGB‑D图像超分辨率方法对充分利用了深度图和RGB图见的相关性，实现了彼此超分辨率效果的有效提高。