python实现精准搜索并提取网页核心内容

2024-04-02 19:04:59 962人浏览独家记忆

Python 官方文档：入门教程 => 点击学习

摘要

目录各种尝试生成pdf提取文章内容选择最优总结参考资料文 | 李晓飞来源：python 技术「ID: Pythonall」爬虫程序想必大家都很熟悉了，随便写一个就可以

各种尝试

如何解决呢？

生成PDF

开始想了一个取巧的方法，就是利用工具（wkhtmltopdf[2]）将目标网页生成 PDF 文件。

好处是不必关心页面的具体形式，就像给页面拍了一张照片，文章结构是完整的。

虽然 PDF 是可以源码级检索，但是，生成 PDF 有诸多缺点：

耗费计算资源多、效率低、出错率高，体积太大。

几万条数据已经两百多G，如果数据量上来光存储就是很大的问题。

提取文章内容

不生成PDF，有简单办法就是通过 xpath[3] 提取页面上的所有文字。

但是内容将失去结构，可读性差。更要命的是，网页上有很多无关内容，比如侧边栏，广告，相关链接等，也会被提取下来，影响内容的精确性。

为了保证有一定的结构，还要识别到核心内容，就只能识别并提取文章部分的结构了。像搜索引擎学习，就是想办法识别页面的核心内容。

我们知道，通常情况下，页面上的核心内容（如文章部分）文字比较集中，可以从这个地方着手分析。

于是编写了一段代码，我是用 scrapy[4] 作为爬虫框架的，这里只截取了其中提取文章部分的代码：


divs = response.xpath("body//div")
sel = None
maxvalue = 0
for d in divs:
  ds = len(d.xpath(".//div"))
  ps = len(d.xpath(".//p"))
  value = ps - ds
  if value > maxvalue:
    sel = {
      "node": d,
      "value": value
    }
    maxvalue = value 
print("".join(sel['node'].getall()))

response 是页面的一个响应，其中包含了页面的所有内容，可以通过 xpath 提取想要的部分
"body//div" 的意思是提取所以 body 标签下的 div 子标签，注意：// 操作是递归的
遍历所有提取到的标签，计算其中包含的 div 数量，和 p 数量
p 数量和 div 数量的差值作为这个元素的权值，意思是如果这个元素里包含了大量的 p 时，就认为这里是文章主体
通过比较权值，选择出权值最大的元素，这便是文章主体
得到文章主体之后，提取这个元素的内容，相当于 Jquery[5] 的 outerHtml

简单明了，测试了几个页面确实挺好。

不过大量提取时发现，很多页面提取不到数据。仔细查看发现，有两种情况。

有的文章内容被放在了 <article> 标签里了，所以没有获取到
有的文章每个 <p> 外面都包裹了一个 <div>，所以 p 的数量和 div 的抵消了

再调整了一下策略，不再区分 div，查看所有的元素。

另外优先选择更多的 p，在其基础上再看更少的 div。调整后的代码如下：


divs = response.xpath("body/text()").getall())])
            value += len(t)
        else:
            value += find(n, a)*0.5
    if value > sel["value"]:
        sel["node"] = node
        sel["value"] = value
    return value
 
sel = {
    'value': 0,
    'node': None
}
find(response.xpath("body"), sel)