通用网络爬虫的目标在整个互联网中,爬虫从种子URL开始访问网页,采集当中所有超链接。
为了防止获取重复的URL,将爬取到的网页信息存储在原始数据库或队列中,然后对网页进行解析,并根据网页搜索策略爬取新URL。 重复上述过程,直到采集到的URL符合停止条件,则完成整个采集流程。
通用网络爬虫的运行原理是主题网络爬虫的基础,主题网络爬虫可以按照需要的信息目标明确的进行采集,初始 URL的获取是基于对抓取目标的定义以及相关的描述,爬虫将定位在互联网中与主题相关的页面中,解析网页来根据网页搜索策略预测链接的主题相关度,并确定继续爬取的URL优先级。
