11321070 - 蔺越檀 - 网络多媒体搜索引擎论文

论文题目

基于内容的图像检索 中相关反馈技术的研究 姓名与学号 蔺越檀 11321070 指导老师 吴飞 年级与专业 2013级计算机科学与技术专业 所在学院 计算机科学与技术学院

基于内容的图像检索中相关反馈技术的研究

引言

随着互联网以及多媒体技术的迅速发展，信息的形式不再是单一的文本方式，而是由图形图像、动画、视频等多媒体信息为主导。人们对图像的检索需求和检索结果的质量要求越来越高，基于内容的图像检索的研究意义越来越重要。基于内容的图像检索（CBIR）在用户提交检索样本后，系统自动地根据样本对象的底层物理特征生成相关的特征集，然后在数据库中进行相似性匹配从而得到检索结果的过程。由于避开了人工标注等问题，这种方法具有明显的优越性。但是由于图像信息的复杂性和理解上的多义性，导致图像的内在语义（用户的主观评价）与系统自动提取的图像视觉特征（颜色、纹理等）之间难以匹配，存在语义鸿沟[1]。为了解决这个问题，引入了相关反馈（relevance feedback）技术。

所谓相关反馈，是一种能让用户指导计算机来按照用户的要求进行查询而得到相关内容的机制。主要包括两个过程:首先，系统对初始的查询结果集进行分析，同时结合用户的交互来决定采用什么样的特征数值以及何种匹配算法来进行检索更能满足用户的需求；其次，在系统给用户返回初始结果集之后，系统可以允许用户在该结果集中进一步细化查询特征，从而使阶段不断接近用户的感知要求[2]。

在基于内容的图像检索中引入相关反馈可以给检索系统提供更多的信息，对检索过程的正确进行具有重要意义。系统通过借助用户对检索结果的相关度评价，不断修正相似度量中的相关参数，使得检索向着接近用户期望的方向进行，检索的效果较好。

本文对基于内容的图像检索中的相关反馈技术做综述，给出了基于内容的图像检索中相关反馈的应用过程，归纳了相关反馈算法的类别，分析了各类算法的特点及适用的范围，同时介绍了目前比较成熟的采用了相关反馈技术的基于内容的图像检索系统，最后对基于内容的图像检索中的相关反馈技术的未来发展方向做了预测。

基于内容的图像检索中相关反馈应用过程

在基于内容的图像检索中应用相关反馈技术的具体过程通常是：

（1）用户给出样本图像，系统根据相似矩阵和样本图像以及图像数据中图像的主要特

征(通常是通过一个距离向量)，计算出各个样本图像与数据库中图像的相似度。

（2）根据数据库中的图像与样本图像在特征空间中的相似度高低给出一个基于相似度的排列表。

（3）用户在该列表中选择一组符合该次检索内容的图像，称之为正反馈图像；和一组不符合检索内容的图像，称之为负反馈图像，并将结果提交给系统。

（4）系统根据用户所提交的信息，利用反馈技术进行优化，生成新的查询，并将新的结果返回给用户。

图像数据库初始查询评估查询新查询用户反馈用户反馈算法查询结果 图1 相关反馈过程

图1显示出了上述应用过程。可以看出，相关反馈技术的核心是如何根据用户返回的正负反馈信息进行优化，这也是相关反馈算法的研究核心。

相关反馈算法的研究

相关反馈算法是相关反馈技术在基于内容的图像检索应用中的关键，近年来也引起了广泛的关注，取得了一些研究成果，主要可以分为四类：基于向量空间模型、基于聚类的分析模型、基于图像分布概率的调整、基于记忆模型。下面对这些算法进行归纳分析。

1 基于向量空间模型

向量空间模型是将所有图像表示为各个特征向量的形式，则各个图像对应特征空间中的一个向量（或者点）。在基于向量空间模型的图像检索过程中，查询同样表达为特征空间的点，成为查询点；用户查询时主观上的认定的一个能够准确满足他的查询需求的点，称为理想查询点。但是由于用户对自己的查询意图表达不完全准确，通常提交给系统的查询点并不是理想查询点，而是与之有一定距离的查询点。基于向量空间模型的相关反馈技术就是为了使得查询点逐步逼近理想查询点，主要有两种技术：查询向量转移算法和权重调整算法。

查询向量转移算法：查询向量转移算法是通过用户对查询结果的正负反馈信息，使查询

点向靠近正反馈、远离负反馈的方向移动，从而逼近理想查询点。这种方法是Rui[3]在1997年提出的，图2是他提出的向量转移算法模型。其中是查询图像，是理想查询点，+是与查询相关的图像（正反馈），#是与查询不相关的图像（负反馈）。

####++++####++++ 图2 Rui的向量转移算法模型

文献[4]中利用负反馈作为对正反馈信息的补充，优化查询图像特征向量。这种方法在图像相关反馈检索中得到了广泛的应用，大部分的系统，如MARS系统，都是基于这样反馈来优化检索的。

权重调整算法：Rui[3]在提出查询向量转移算法的同时提出了权重调整算法。这种算法考虑到不同用户对不同特征的感觉和敏感程度不同，对特征空间中不同特征赋予不同的权重，系统根据用户的反馈信息，把用户认为与查询图像相似的特征赋予较大的权重而不相似的特征赋予较小的权重，然后根据调整后的权重计算相似度。这种方法就类似于对特征空间的各个维度方向进行权重分配，从而移动查询点使之逼近理想查询点。Nikolaos等人提出的算法

[5]

是基于最优权重更新，使检索出的图像与用户查询的图像之间的相关度达到最大。文[6]综

合了查询向量转移算法和权重调整算法，建立了一个灵活的学习反馈信息的模型，在系统的动态学习中，用户可以通过与系统连续相互作用的检索过程，融入自己的高层语言信息。文

[7]

提出了改善这两种算法的综合性算法。

这两种基于向量空间模型的算法是线性空间变换模型的典型代表，它们不需要用户提供

很精确的查询图像，通过人机交互，系统对用户标注过的图像进行学习，使查询向量逐步接近用户的目标图像。但是修正权重算法的运算量很大，计算复杂，而且在这两种方法中，系统只能给用户极为有限的一组图像进行标注，当图像特征维数很高而受训练的图像数目很少时，很难得到用户满意的检索图像[8]。

2 基于聚类的分类模型

聚类就是对原有图像数据库中的图像在特征空间进行划分，根据用户对训练样本的评价，