一种基于体素的三维人体运动跟踪方法。其步骤如下：（１）输入多视点图像序列，使用基于可视外壳的体素建模方法，得到人体的三维体素的集合，即体素模型；（２）对三维体素模型进行距离变换，得到三维距离场中局部极大点的体素的集合，即关键体素点集合；（３）初始化人体骨架模型：定义骨架模型以及参数，并初始化人体骨架模型中骨架线段的长度；（４）规定初始帧为特定的人体姿态，即正向站立、双臂水平伸开且平行于世界坐标系的Ｘ轴或Ｙ轴，计算初始帧骨架参数；（５）根据人体骨架模型，以及前一帧骨架参数，计算关键体素点集合中所有点到人体骨架模型的距离平方之和，采用Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ算法（ＬＭ算法）迭代优化骨架参数使得距离平方和达到最小，从而达到人体运动跟踪的目的。本发明实现了多视点图像下三维人体运动跟踪，无需标记点，能够自动初始化人体骨架模型，从而解决因个体体形差异等造成的跟踪不准确的问题，并利用时间相关性保证了三维人体运动跟踪的快速与稳定性。