本发明提供一种支持多GPU虚拟化的平台架构及其工作方法，该架构通过在GPU服务器端和虚拟机端部署中间件，利用socket或者infiniband等方式作为传输媒介，填补了原有的虚拟机平台不能利用GPU加速的缺点。该架构通过一个或者多个集中控制的管理节点对GPU资源进行管理，并对GPU资源进行细粒度的划分，能够提供多任务并行任务的功能。虚拟机通过中间件向管理节点请求GPU资源，并利用GPU资源加速。GPU服务器通过中间件向管理节点注册GPU资源，并利用GPU资源提供服务。本发明将GPU的并行处理能力引入虚拟机，并结合管理机制，最大限度的提高GPU利用率。本架构能够有效的降低能耗，提高计算效率。