扫码关注官方微信

扫码下载APP
返回顶部
首页 > 资讯 > 后端开发 > Python >python 用递归实现通用爬虫解析器
  • 200

0
分享到

python 用递归实现通用爬虫解析器

2024-04-02 19:04:59 200人浏览 独家记忆

Python 官方文档：入门教程 => 点击学习

摘要

目录需求分析进一步分析再进一步分析代码实现我们在写爬虫的过程中，除了研究反爬之外，几乎全部的时间都在写解析逻辑。那么，生命苦短，为什么我们不写一个通用解析器呢？对啊！为什么不呢？开整

我们在写爬虫的过程中，除了研究反爬之外，几乎全部的时间都在写解析逻辑。那么，生命苦短，为什么我们不写一个通用解析器呢？对啊！为什么不呢？开整！

需求分析

爬虫要解析的网页类型无外乎 html、JSON 以及一些二进制文件（video、excel 文件等）。既然要做成通用解析器，我们有两种实现方式，一种是将网页内容转换成统一的形式，然后用对应的解析规则去解析，比如全部将网页内容转换成 html 形式，然后用 xpath 去提取。

另外一种是配置文件预先告知的方式，你配置成什么类型，解析器就通过对应的解析规则去解析。

统一网页形式，需要做大量的网页内容形式转换，而配置文件预先告知则需要在配置时指定更多解析字段。相比较而言，通过第二种方式，未来改变较多的是配置规则，不需要动核心代码，引入 bug 的可能性较低。因此这里我们采用第二种方式实现解析器

进一步分析

解析器对于网页内容的提取，本质上和我们在本地电脑上查找和整理文件，没有什么差别。比如像下面这样

解析内容就是从中提取我们想要的信息，然后整理成我们希望的格式。比如上面的内容，我们提取出来的形式应该是这样


{
  "design": "设计图.psd",
  "software": "sketch.dmg"
}

而在实际的爬虫开发过程中，网页形式远比以上的复杂。其实遇到最多的问题是在一组列表中嵌套一个列表，我们需要把这种形式提取出来。比如像下面这种形式


{
    "a": "a",
    "b": [
        {"c": "c1", "d": "d1"},
        {"c": "c2", "d": "d2"}]
}

他提取出信息后应该是这样


[
  {
    "a": "a",
    "c": "c1",
    "d": "d1"
  },
  {
    "a": "a",
    "c": "c2",
    "d": "d2"
  }
]

如果小伙伴对于算法熟悉的话，应该能察觉出这种遍历用递归来写是非常方便的。但要注意的是 python 会限定递归的层数，小伙伴可以通过下面这个方法查看递归限定的层数


import sys
print(sys.getrecursionlimit())

>>>1000

我这边限定的层数是 1k。对于解析网页来说完全够用了，如果哪个人把网页解析逻辑嵌套了 1000 层，我建议你直接跟老板提放弃这个网页吧！

再进一步分析

我们已经知道对于通用解析来说，就是通过配置解析规则提取页面的对应信息。而针对有列表层级的网页可能还涉及递归遍历问题。那如何去配置这种解析规则呢？其实很简单，只需要在进入每一个层级之前先指定该层的数据形式，比如下面这个原数据


{
  "a": "a",
  "b": [
          {"c": "c1", "d": "d1"},
          {"c": "c2", "d" : "d2"}
       ]
}

想提取嵌套信息，我们的解析规则就应该是这样的


[
 {
  "$name": "a",
  "$value_type": "raw",
  "$parse_method": "json",
  "$parse_rule": "a",
  "$each": []
 },
 {
  "$name": "__datas__",
  "$value_type": "recursion",
  "$parse_method": "json",
  "$parse_rule": "b",
  "$each": [
        {  
         "$name": "c",
          "$value_type": "raw",
         "$parse_method": "json",
         "$parse_rule": "c",
         "$each": []
        },
        {  
         "$name": "d",
          "$value_type": "raw",
         "$parse_method": "json",
         "$parse_rule": "d",
         "$each": []
        }
      ]
 }
]

其中 $name 字段表示我们最终希望最外层数据所拥有的字段名，当然如果是需要递归到内层的字段，则将列表保存为 __datas__ ，然后根据这个 __datas__ 进行内层结构的解析。最终我们得到的数据结构应该是这样的


[
  {"a": "a", "c": "c1", "d": "d1"}, 
  {"a": "a", "c": "c2", "d": "d2"}
]

以上我们只演示了 json 的解析规则，如果要拿来解析 html 对象呢？很简单，将解析方式改为 xpath 对象，然后传入 xpath 解析语法即可。

代码实现

总共分成两部分，一部分根据原最终结果和规则进行打包，将所有涉及 recursion 逻辑的字段进行转换，代码如下


def _pack_json(result, rules):
        item = {}

        for p_rule in rules:

            if p_rule.get("$value_type") == "raw":
                if p_rule.get("$parse_method") == "json":
                    item[p_rule.get("$name")] = glom(result, p_rule.get("$parse_rule"))

            elif p_rule.get("$value_type") == "recursion":
                if p_rule.get("$parse_method") == "json":
                    tmp_result = glom(result, p_rule.get("$parse_rule"))
                    total_result = []
                    for per_r in tmp_result:
                        total_result.append(_pack_json(per_r, p_rule.get("$each")))
                    item[p_rule.get("$name")] = total_result
        return item

另外一部分将上一步得到的进行解析，将打包得到的结果进行解包，即将所有内嵌的数据提到最外层，代码如下


def _unpack_datas(result: dict) -> list:
        if "__datas__" not in result:
            return [result]

        item_results = []
        all_item = result.pop("__datas__")

        for per_item in all_item:
            if "__datas__" in per_item:
                tmp_datas = per_item.pop("__datas__")
                for per_tmp_data in tmp_datas:
                    tmp_item = _unpack_datas(per_tmp_data)
                    for per_tmp_item in tmp_item:
                        item_results.append({**per_tmp_item, **per_item})
            else:
                item_results.append({**result, **per_item})

        return item_results

后再包一层执行入口就可以了，完整代码如下


from loguru import logger

from glom import glom


def parse(result, rules):

    def _pack_json(result, rules):
        item = {}

        for p_rule in rules:

            if p_rule.get("$value_type") == "raw":
                if p_rule.get("$parse_method") == "json":
                    item[p_rule.get("$name")] = glom(result, p_rule.get("$parse_rule"))

            elif p_rule.get("$value_type") == "recursion":
                if p_rule.get("$parse_method") == "json":
                    tmp_result = glom(result, p_rule.get("$parse_rule"))
                    total_result = []
                    for per_r in tmp_result:
                        total_result.append(_pack_json(per_r, p_rule.get("$each")))
                    item[p_rule.get("$name")] = total_result
        return item

    def _unpack_datas(result: dict) -> list:
        if "__datas__" not in result:
            return [result]

        item_results = []
        all_item = result.pop("__datas__")

        for per_item in all_item:
            if "__datas__" in per_item:
                tmp_datas = per_item.pop("__datas__")
                for per_tmp_data in tmp_datas:
                    tmp_item = _unpack_datas(per_tmp_data)
                    for per_tmp_item in tmp_item:
                        item_results.append({**per_tmp_item, **per_item})
            else:
                item_results.append({**result, **per_item})

        return item_results

    pack_result = _pack_json(result, rules)
    logger.info(pack_result)
    return _unpack_datas(pack_result)

以上，就是通用解析器的完整案例。案例中仅实现了对于 json 的支持，小伙伴可以基于自己的项目，改造成其他的解析形式。通用解析其实是鸡仔为了偷懒写的，因为鸡仔发现，在爬虫开发中，大部分工作都耗在解析这部分。而有了通用解析的前端页面，运营和数据分析师就可以根据自己的需要配置自己想爬取的站点了。人生苦短，你懂得。我去摸鱼了~

实现方式请移步至 GitHub 查看：https://github.com/hacksman/learn_lab/blob/master/small_bug_lab/general_parser.py

以上就是Python 用递归实现通用爬虫解析器的详细内容，更多关于python 递归实现爬虫解析器的资料请关注编程网其它相关文章！

您可能感兴趣的文档:

--结束END--

本文标题: python 用递归实现通用爬虫解析器

本文链接: https://lsjlt.com/news/123702.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • python 用递归实现通用爬虫解析器
    目录需求分析进一步分析再进一步分析代码实现我们在写爬虫的过程中，除了研究反爬之外，几乎全部的时间都在写解析逻辑。那么，生命苦短，为什么我们不写一个通用解析器呢？对啊！为什么不呢？开整...
    99+
    2024-04-02
  • 怎么在python中利用递归实现一个爬虫解析器
    怎么在python中利用递归实现一个爬虫解析器？相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。另外一种是配置文件预先告知的方式，你配置成什么类型，解析器就通过对应的解析规则去解析...
    99+
    2023-06-14
  • Python爬虫包 BeautifulSoup 递归抓取实例详解
    Python爬虫包 BeautifulSoup 递归抓取实例详解 概要： 爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容，然后分析页面内容并找到另一个...
    99+
    2022-06-04
    递归 爬虫 详解
  • Python爬虫解析器BeautifulSoup4怎么使用
    这篇文章主要介绍“Python爬虫解析器BeautifulSoup4怎么使用”的相关知识，小编通过实际案例向大家展示操作过程，操作方法简单快捷，实用性强，希望这篇“Python爬虫解析器BeautifulSoup4怎么使用”文章能帮助大家解...
    99+
    2023-07-02
  • Python爬虫的两套解析方法和四种爬虫实现
    【本文转载自微信公众号：数据科学家养成记，作者：louwill，转载授权请联系原作者】 对于大多数朋友而言，爬虫绝对是学习python的最好的起手和入门方式。因为爬虫思维模式固定，编程模式也相对简单，一般在细节处理上积累一些经验都...
    99+
    2023-06-02
  • Python爬虫实战之xpath解析
    XPath 是一门在 XML 文档中查找信息的语言，最初是用来搜寻 XML 文档的，但是它同样适用于 HTML 文档的搜索。 所以在Python爬虫中，我们经常使用xpath解析这种高效便捷的方式来提...
    99+
    2023-09-23
    python 爬虫 开发语言
  • python函数递归调用的实现
    目录引入函数递归介绍函数递归原理及使用Practice引入 函数既可以嵌套定义也可以嵌套调用。嵌套定义指的是在定义一个函数时在该函数内部定义另一个函数；嵌套调用指的是在调用一个函数的...
    99+
    2023-05-19
    python函数递归调用 python 递归调用
  • Python递归实现猴子吃桃问题及解析
    目录Python递归实现猴子吃桃Python函数（闰年&猴子偷桃)问题函数作业Python递归实现猴子吃桃 猴子吃桃问题：猴子第一天摘下若干个桃子，当即吃了一半，还不瘾，又多...
    99+
    2024-04-02
  • 详解C语言通过递归与非递归实现蛇形矩阵
    前言： 本次蛇形矩阵我将以两种方法来实现，即非递归和递归 非递归的实现： #define right 1 #define down 2 #define left 3 #defin...
    99+
    2024-04-02
  • 怎么用Python爬虫分析App
    这篇文章主要讲解了“怎么用Python爬虫分析App”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“怎么用Python爬虫分析App”吧！1 分析背景之前我们使用了 Scrapy 爬取并分析了...
    99+
    2023-06-02
  • C++ 函数递归详解：递归调用的形式和实现
    递归是函数自身调用的一种编程技术，在 c++++ 中有两种常见形式：直接递归和间接递归。要实现递归，函数必须满足基线条件和递归调用。实战案例中，利用递归计算阶乘，其基线条件是 n 为 0...
    99+
    2024-05-04
    c++ 递归
  • python爬虫指南之xpath实例解析
    Python爬虫指南之XPath实例解析XPath是一种用于在XML文档中进行导航和查找元素的语言。在爬虫中，XPath可以用于解析...
    99+
    2023-08-15
    python
  • Python爬虫爬验证码实现功能详解
    主要实现功能： - 登陆网页 - 动态等待网页加载 - 验证码下载 很早就有一个想法，就是自动按照脚本执行一个功能，节省大量的人力——个人比较懒。花了几天写了写，本着想完成验证码的识别，从根本上解决问...
    99+
    2022-06-04
    爬虫 验证码 详解
  • 一文搞懂Python爬虫解析器BeautifulSoup4
    本篇文章给大家带来了关于Python的相关知识，其中主要整理了爬虫解析器BeautifulSoup4的相关问题，Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库，它能够通过你喜欢的转换器实现惯用的文档导...
    99+
    2022-07-12
    python
  • Python爬虫基础之初次使用scrapy爬虫实例
    项目需求 在专门供爬虫初学者训练爬虫技术的网站（http://quotes.toscrape.com)上爬取名言警句。 创建项目 在开始爬取之前，必须创建一个新的Scrapy项目。进入您打算存储代码的目录中，运行下列...
    99+
    2022-06-02
    Python scrapy框架 Python爬虫
  • python生成器，递归调用
    生成器 什么是生成器：只要在函数体内出现yield关键字，那么再执行函数就不会执行函数代码，会得到一个结果，该结果就是生成器 生成器就是迭代器 yield的功能 yield为我们提供了一种自定义迭代器对象的方法 yield与return的...
    99+
    2023-01-30
    递归 生成器 python
  • C#使用selenium实现爬虫
    目录一、介绍：安装Selenium：二、等待1、隐式等待：ImplicitlyWait2、显示等待：WebDriverWait()三、查找（定位对象）四、获取页面元素和元素内容五、操...
    99+
    2024-04-02
  • 【Java】使用Java实现爬虫
    文章目录 使用Java实现爬虫一、HttpClient实现模拟HTTP访问1.1 HttpClient1.2 引入依赖1.3 创建简单的请求操作1.3.1 创建实例1.3.2 Jsoup应用 1.4 爬取过程中可能出现的问题...
    99+
    2023-08-24
    java 爬虫
  • 使用 Python 实现文件递归遍历的
    今天有个脚本需要遍历获取某指定文件夹下面的所有文件，我记得很早前也实现过文件遍历和目录遍历的功能，于是找来看一看，嘿，不看不知道，看了吓一跳，原来之前我竟然用了这么搓的实现。 先发出来看看： def getallfiles(dir): ""...
    99+
    2023-01-31
    递归 遍历 文件
  • Python爬虫利用cookie实现模拟登陆实例详解
    Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。 举个例子，某些网站是需要登录后才能得到你想要的信息的，不登陆只能是游客模式，那么我们可以利用U...
    99+
    2022-06-04
    爬虫 详解 实例
软考高级职称资格查询
热门wiki
近期文章
推荐阅读
热门问答
热门标签
编程网，编程工程师的家园，是目前国内优秀的开源技术社区之一，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。

  • 官方手机版

  • 微信公众号

  • 商务合作