本发明公开一种基于图像识别的智能雨量感知方法及装置，目的在于寻找更为有效的雨刮控制的实现方案，其中方法包括如下步骤：检测单帧图像得到雨量场景类别并识别每一个雨滴的雨滴边界框；按照预设时间序列获得N帧单帧图像的雨量类别，基于数量最多的雨量类别生成雨量场景跟踪信息；结合前后连续帧间的雨滴识别结果，获得稳定雨滴跟踪信息；基于雨量场景跟踪信息和稳定雨滴跟踪信息生成雨刮控制指令，以控制雨刮的动作。本发明通过结合雨量场景类别和雨滴跟踪，相对于传统车载雨量电子传感器可在刚开始下雨就能及时启动雨刮并根据识别的雨量自动控制雨刮速度，在一定程度上增强了雨刮自动控制性能。