本发明公开了一种新的基于手绘草图的图像检索方法，用于图像搜索。本方法对训练集中每组彩色图像和轮廓草图图像的对应位置提取图像块，计算图像块的GFHOG特征并进行聚类分别得到彩图和草图视觉词典，利用样本间聚类一致性得到两个视觉词典间的映射关系；对每个搜索用图像配置一组相似图像，利用协同分割算法确定对象位置及轮廓边界，提取图像块并确定最接近的草图视觉单词，计算每幅图像的单词统计向量，构建倒排索引，并调整各个单词对图像的重要性权重；对用户输入的轮廓草图，利用倒排索引计算草图与搜索图像库中所有图像的相似度。本发明能够有效的完成基于手绘草图的图像检索，并能够在满足检索响应速度的前提下应用于大规模图像库。