提供了用于神经网络处理的硬件和方法。提供了一种在包括流水线的硬件节点中的方法，该流水线具有：矩阵矢量单元(MVU)；被连接以接收来自矩阵矢量单元的输入的第一多功能单元；被连接以接收来自第一多功能单元的输出的第二多功能单元；以及被连接以接收来自第二多功能单元的输出的第三多功能单元。该方法包括使用MVU执行第一类型指令，该第一类型指令只能由MVU执行以生成第一结果。该方法还包括执行第二类型指令，该第二类型指令只能由多功能单元之一执行，并且生成第二结果，并且在不将两个结果中的任何一个存储在全局寄存器中的情况下，将第二结果传递给第二多功能和第三多功能单元。