Web页面文本提取相对比较复杂, 这也正是本文研究的Web页面自适应转换系统的关键技术之一。对国内外的文献进行分析可以发现, Web页面的文本提取技术基本可以分为两类:基于DOM的Web页面文本提取技术和非基于DOM的Web页面提取技术。通常很多研究者会采用基于DOM的Web页面文本提取技术, 其技术发展比较成熟。
Web页面的标签和标签之间、标签和内容之间都存在着层次关系, DOM树是描述Web页面结构的常用方法, DOM树的叶子节点通常就是要提取的文本信息。因此, 通过一定的算法对Web页面的DOM树进行遍历, 进行相应的筛查降噪处理之后, 可以得到目标的文本内容。
在实际的应用过程中, 利用Web页面解析工具进行页面解析, 并修正其中不规范的地方, 构建Web页面的DOM树并进行递归遍历, 识别其中的非主要文本信息, 比如广告、图像等内容, 将噪声节点移除即得到文本信息。
