深度神经网络(“DNN”)模块可以压缩和解压缩神经元生成的激活数据，以减少存储器总线带宽的利用率。压缩单元可以接收由DNN模块中的神经元生成的未压缩数据块。压缩单元生成压缩输出块的掩码部分和数据部分。掩码部分对未压缩数据块中的零字节和非零字节的存在和位置进行编码。数据部分存储来自未压缩数据块的截断的非零字节。解压缩单元可以从DNN处理器中的存储器或应用主机的存储器中接收压缩数据块。解压缩单元使用掩码部分和数据部分对压缩数据块进行解压缩。这可以减少存储器总线利用率，允许DNN模块更快地完成处理操作，并降低功耗。