基于DOM的Web页面文本提取技术相对成熟, 可选择应用工具较多, 例如HTMLparser、jsoup、nsoup都是常用的基于DOM的Web页面解析工具, 通过对工具进行了系列的分析比较之后, 最终选用了jsoup作为基础的文本信息提取工具。
jsoup HTML解析器, 可直接解析某个URL地址、HTML文本内容。提供了一套非常省力的API, 可通过DOM, CSS以及类似于j Query的操作方法来取出和操作数据。
同时, jsoup还支持对HTML文档进行清理, 十分有利于Web页面转换系统的实现。
