企业建网站网络爬虫的分类

        网络爬虫的分类。

        网络爬虫按照实现的技术主要分为通用网络爬虫(general purpose web crawler)和主题网络爬虫(topical crawler)。

        在这两类爬虫基础上进行细化和深入分析,又可以进一步实现增量式网络爬虫、深层网络爬虫等依据具体需求生成的爬虫类型。