本发明公开了一种基于构件集采样的图像场景分割与分层联合求解方法，包括:对输入图像进行过分割处理，得到图像的超像素集;在训练数据集上训练得到语义类别的判别式模型和层次类别的判别式模型，并根据这两个模型获得输入图像中每个超像素属于每一语义类别的概率值和每一层次类别的概率值;构建输入图像的候选图结构，计算节点权重值、正边权重值和负边权重值。在此候选图结构上，利用构件集采样算法推理得到最优解，该最优解包含输入图像的每个超像素的准确语义类别和准确层次类别。本发明能广泛应用于军事、航空、航天、监控和制造等计算机视觉系统的语义信息和层次信息标记。