本发明实施例提供了一种基于频域残差的小目标检测方法及装置，应用于小目标检测领域。该基于频域残差的小目标检测方法包括：利用频域残差法计算含有待检测小目标的原始红外图像的显著图；获取所述显著图的二值积分图及合成积分图；根据原始红外图像的大小确定所述显著图中的滑窗大小范围；计算滑窗大小范围内每种大小的所述滑窗的每一个窗口的显著度，获得含有每一个窗口的位置信息及显著度信息的矩阵Boxa*b；对每个所述矩阵Boxa*b利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Boxa*b，合并所有的所述矩阵new_Boxa*b，获得矩阵ROI；根据所述矩阵ROI中的所述显著度信息确定所述小目标所在区域。使用该方法可以有效检测到红外图像中小目标所在区域。