本发明涉及一种基于非均匀量化的神经网络权值压缩方法及使用方法，其步骤：基于数据概率对连接权值分组；最大值归一化：将分组后的连接权值做最大值归一化处理，使得连接权值的幅度值处于[‑1，1]；将归一化后的连接权值采用非均匀量化的A律压缩进行压缩编码。本发明能有效保证系统性能，显著降低了连接权值存储所需的容量，有利于深度神经网络在嵌入式系统中的应用。