通常我们找到一个网站的方式除了少量知名网站可以直接在浏览器地址栏中直接书写URL之外,还有一部分可能是通过导航网址或者收藏夹来访问,剩下的大部分网站实际上是通过搜索引擎找到的。对于网站的所有者来说,如何让自己的网站被搜索引擎搜到,并且排名前几页,从而带来大量的商机是需要极力力争的事情。原本网页内容质量越好,越受网民欢迎的页面就越应该排在搜索引擎结果页面的前面,但是有些网站则通过一些不道德的方式来手动或自动地制造一些网页,这些网页没有提供给用户任何有效的信息,仅仅是针对搜索引擎进行欺骗,就在搜索结果中获得了较高的排名,这种网页被称为
垃圾网页。
垃圾网页的存在对用户、合法网站以及搜索引擎都会带来伤害。对用户来说需要找到其想要的有用资源,但是垃圾网页提供的是乱七八糟的内容,从而造成了严重的干扰,带来了极差的用户体验。对合法网站来说垃圾网页的内容质量比自己的差,而搜索排名反而在自己前面,这是极其不公平的。
对搜索引擎来说,一方面垃圾网页带来的极差的用户体验会使其丢失一部分用户,另一方面垃圾网页会给搜索引擎公司造成资源浪费,因为网络爬虫在存储、判断、过滤和处理垃圾网页时会消耗大量的CPU、带宽、内存和磁盘资源。所以,对垃圾网页的研究一直都是搜索引擎所要重点关注的问题。
