网站seo优化网页爬取策略

        常用的网页爬取策略主要包括深度优先搜索策略(Depth-First-Search)、广度优先搜索策略(Breadth-First-Search)、最佳优先搜索策略(Best-First-Search),更多的爬取策略都是在这3种策略基础上改进而来的。

        主题爬虫主要采用的是最佳优先搜索策略，以获得与主题相关性最优的URL进行爬取。

        通用爬虫的爬取策略以深度优先搜索策略和广度优先搜索策略为主,主要应用在搜索引擎和指定站点信息搜索领域。