本发明公开适于5G多用户大规模MIMO混合波束赋形算法及系统，基于用户泄露信号最小准则，并结合码本进行多用户波束赋形，能够消除用户间的同道干扰。基站通过控制信道广播从用户码本中选取合适向量，用户接收之后利用码本恢复码字向量，作为波束赋形的权重。其他用户还能利用收到的其他波束向量通过最小均方误差算法消除干扰。本发明算法上进行了改进，该算法通过码本量化预编码矩阵，基站仅需用户端反馈码本编号即可获得预编码矩阵，大大降低了信息反馈量，算法复杂度变小，并且当不增加额外资源的前提条件下，系统吞吐量有所提高，设备实现简单化。