本发明涉及一种立体视觉半实物仿真系统及方法，其系统包括投影仪、摄像机、摄像机云台、投影屏幕和计算机，在利用该仿真系统进行仿真时，首先，由计算机的虚拟视景软件生成虚拟三维场景图像，并获得在同一时刻不同两个或多个视点的立体视觉虚拟三维视觉图像；再由投影仪分别将各虚拟三维视觉图像投影到屏幕上，并通过实际摄像机分别拍摄屏幕上不同视点各虚拟三维视觉图像，而得到仿真系统在该测量时刻的输出图像，然后，计算虚拟摄像机参数、标定实际摄像机成像模型参数和投影仪成像模型参数，最后，根据立体视觉的基本原理计算得到图像中虚拟三维场景的三维空间坐标，本发明具有精度高、结构简单和成本低的优点。