本发明涉及一种基于微光和红外传感器的图像融合系统，分为微光和红外传感器信息采集模块，FPGA核心处理模块，DSP协处理模块和输出显示模块；外部的微光与红外传感器采集的视频图像经过接口输入到装置中；输入视频图像进行图像的预处理：包括图像去噪声、图像增强和图像配准，其中图像去噪声和图像增强处理，要求延时较低，在FPGA芯片中实现，图像配准算法需要的计算量较大，在DSP芯片中实现；经过预处理后的视频图像通过FPGA芯片进行融合，包括灰度融合和伪彩色融合；FPGA控制逻辑可以选择一路图像通过接口输出：单微光视频、单红外视频、灰度融合视频和伪彩色融合视频。本发明实现了高精度，低延迟和扩展性好的图像融合系统，对于夜间的观测、探查应用有重要实践意义。