本发明公开了一种基于视频的变电站三维监控方法及系统，包括：实时采集变电站内部视频图像信息，建立变电站三维模型；如果检测到设备外观缺陷，通过对缺陷设备的多角度定位，得到异常部位的坐标，根据获取到的异常设备图像，建立带有异常外观的设备三维模型，将新建的设备三维模型叠加到变电站三维模型的相应位置区域；如果检测到人员进入，识别人员的面部特征以及外形特征，建立带有真实人脸图像以及外形特征的人体三维模型，并根据人员位置坐标，将所述人体三维模型放置在变电站三维模型的相应位置。本发明能够在变电站三维模型上实时增加视频分析的结果，大大提高了三维模型的时效性，使巡检人员更加直观的把握变电站运行信息。