本发明公开一种针对硬件实现稀疏化卷积神经网络推断的加速方法，包括面对稀疏硬件加速架构的分组剪枝参数确定方法、针对稀疏硬件加速架构的分组剪枝训练方法和针对稀疏化卷积神经网络前向推断的部署方法：根据硬件架构中乘法器数量确定分组剪枝的分组长度和剪枝率，基于量级裁剪方式将压缩率以外的权值进行裁剪，通过增量训练方式提升剪枝后的网络准确率及压缩率，剪枝过的网络经微调后保存非剪枝位置的权值和索引参数并送入硬件架构下的计算单元中，计算单元同时获取分组长度的激活值完成稀疏网络前向推断。本发明基于硬件架构出发设定算法层面的剪枝参数与剪枝策略，有益于降低稀疏加速器的逻辑复杂度提高稀疏加速器前向推断的整体效率。