公开了用于执行手持设备相对于可穿戴设备的定位的技术。诸如惯性测量单元(IMU)之类的被安装在手持设备上的至少一个传感器可以获得指示手持设备相对于世界的运动的手持数据。被安装在手持设备或可穿戴设备上的成像设备可以捕获包含被固定到另一设备的若干基准点的基准点图像。确定图像中包含的基准点数量。基于基准点数量，根据第一操作状态、第二操作状态或第三操作状态基于图像和手持数据而更新手持设备相对于可穿戴设备的位置和取向中的至少一者。