本申请涉及一种毫米波MIMO通信系统中波束成形的方法和系统。所述方法包括：获取接收机的第一天线阵列参数，根据第一天线阵列参数以及发射机的第二天线阵列参数，得到进行数据传输的有效自由度；根据有效自由度，确定预编码器中的最优无约束预编码矩阵，获取预先设置的预编码器的矩阵表达式，将矩阵表达式转化为稀疏表达式，对稀疏表达式中的字典矩阵的元素采用稀疏形式的最优无约束预编码矩阵进行更新，得到字典更新矩阵，根据字典更新矩阵以及稀疏形式的最优无约束预编码矩阵，建立预编码器的更新矩阵表达式；根据所述更新矩阵表达式，对传输数据流进行波束成形。采用本方法能够接近无约束全数字波束成形的性能。