基于特征建模优化与判别学习的Web spam识别技术研究

(1) 项目背景.一般地，在搜索结果中越是排在前面的网站，就意味着它的重要程度越高，也就能吸引到更多的用户访问它，因此给它带来的商业利润也越大。因此，垃圾网页制作者出于经济或商业利益，采用各种各样的不正当手段欺骗搜索引擎，达到在搜索结果中排序靠前，从而获取较高点击率的目的。近些年来，Web spamming已逐渐成为困扰搜索引擎的严重问题，它使垃圾网页排在某些正常网页前面，骗取用户点击，严重干扰用户获取信息。这在很大程度上破坏搜索质量，降低用户对搜索引擎的信任度。.(2) 主要研究内容.按照课题研究计划，我们搜集、阅读了大量相关科技文献，及时跟踪学术前沿，并组织了专家讨论会，制定了详细的研制计划，针对web页面特征选择、web页面与spam页面不平衡问题以及针对判别学习技术在spam页面识别方面存在的问题，我们做了大量的工作，并取得了一系列研究成果。.项目组深入全面地研究了网页特征，提出把网页特征作为垃圾网页识别的辅助手段；建立内容特征和链接特征的协同模型用于检测垃圾网页；基于嵌套旋转森林对垃圾网页的不平衡数据集分类；利用自标记技术结合多分类器模型，对垃圾网页的不平衡数据集分类；利用网页排分检测垃圾网页；基于网络链接结构利用双向趋势信息反馈进行垃圾网页检测；基于拟合特征分布的垃圾网页检测方法；基于结合内容特征的TrustRank算法改进；基于独立成分分析和协同训练的垃圾网页检测；基于多视图典型相关分析的垃圾网页检测；基于SMOTE和随机森林的Web spam检测，等等。.(3) 重要结果、关键数据及其科学意义等 .特征选择及优化方面。分析正常页面与Spam页面间判别能力大的特征，选择相关特征，同时利用典型分析技术，将多视图特征加以融合，，提高页面识别的准确率，取得了很好的效果；.过采样方面。提出了基于同分布假设，生成少数类样本的技术。只有保持数据分布不变的情况下，实现少数类样例过采样，才能学习到无偏的分类器。丰富的实验结果表明，该方法有利于提高少数类的分类精度；.识别算法方面。依据spam问题特点，充分考虑页面间的局部及全局一致性，定义适用问题的目标优化函数，提出了改进的SVM分类算法。.其他成果研究表明，针对特征层面、数据层面及算法层面的研究可以有益结合，提高spam页面的识别效率。