本发明实施例提供一种视频安全管理系统及方法，该系统包括：密钥管理平台、视频安全控制器和终端认证设备；所述密钥管理平台用于基于管理密钥对当前接入的管理设备和用户设备进行管理认证，并在认证成功后，根据用户设备与视频安全控制器的匹配关系表，将与所述视频安全控制器对应的初始化密钥导入当前接入的所述用户设备；所述视频安全控制器用于基于该初始化密钥与所述用户设备进行首次双向认证，并在首次双向认证成功后，接收所述用户设备存储的应用认证密钥，以进行用户设备和所述视频安全控制器之间的后续双向认证，从而能够提高视频数据管控的安全性，实现对视频数据的有规划有体系地综合安全监管，进而便于社会管理和可信取证。