提供了用于神经网络处理的系统和方法。提供了一种在系统中的方法，该系统包括经由网络互连的多个节点，其中每个节点包括多个片上存储器块和多个计算单元。该方法包括在服务激活时接收与神经网络模型相对应的N×M矩阵系数。该方法包括将与神经网络模型相对应的系数加载到多个片上存储器块中以供多个计算单元处理。该方法包括：无论是否有对多个片上存储器块的利用作为神经网络模型的评估的一部分，都在多个片上存储器块中维持与神经网络模型相对应的系数直到服务被中断或神经网络模型被修改或替换。