本发明提供一种视频监控中的多目标跟踪方法和装置。该方法包括：从跟踪视频中获取至少一个兴趣目标的初始信息，初始信息包括初始位置、速度、加速度和特征信息，从兴趣目标中按照特征显著度从大到小的顺序选择出N0(t)个兴趣目标作为初始跟踪层，N0(t)由兴趣目标的速度和加速度确定，特征显著度根据特征信息确定，根据初始跟踪层中的N0(t)个兴趣目标的初始位置对N0(t)个兴趣目标进行逐个跟踪，根据未跟踪兴趣目标和已跟踪目标整体的关联度，将未跟踪兴趣目标依次选入下一新建跟踪层进行逐层跟踪。本发明提供的视频监控中的多目标跟踪方法和装置，提高了多目标跟踪的实效性和准确性。