扫码关注官方微信

扫码下载APP
返回顶部
首页 > 资讯 > 后端开发 > Python >Python入门基础之import机制
  • 508

0
分享到

Python入门基础之import机制

2024-04-02 19:04:59 508人浏览 八月长安

Python 官方文档：入门教程 => 点击学习

摘要

目录 一、前言 1.1 什么是 import 机制？ 1.2 import 是如何执行的？ 二、import 机制概览 三、import 勾子（import hooks）

 一、前言

本文基于开源项目：

GitHub.com/pwwang/pyth…

补充扩展讲解，希望能够让读者一文搞懂 python 的 import 机制。

1.1 什么是 import 机制？

通常来讲，在一段 Python 代码中去执行引用另一个模块中的代码，就需要使用 Python 的 import 机制。import 语句是触发 import 机制最常用的手段，但并不是唯一手段。

importlib.import_module 和 __import__ 函数也可以用来引入其他模块的代码。

1.2 import 是如何执行的？

import 语句会执行两步操作：

  • 搜索需要引入的模块
  • 将模块的名字做为变量绑定到局部变量中

搜索步骤实际上是通过 __import__ 函数完成的，而其返回值则会作为变量被绑定到局部变量中。下面我们会详细聊到 __import__ 函数是如果运作的。

二、import 机制概览

下图是 import 机制的概览图。不难看出，当 import 机制被触发时，Python 首先会去 sys.modules 中查找该模块是否已经被引入过，如果该模块已经被引入了，就直接调用它，否则再进行下一步。这里 sys.modules 可以看做是一个缓存容器。值得注意的是，如果 sys.modules 中对应的值是 None 那么就会抛出一个 ModuleNotFoundError 异常。下面是一个简单的实验：


In [1]: import sys

In [2]: sys.modules['os'] = None

In [3]: import os
---------------------------------------------------------------------------
ModuleNotFoundError   Traceback (most recent call last)
<ipython-input-3-543D7f3a58ae> in <module>
----> 1 import os

ModuleNotFoundError: import of os halted; None in sys.modules

如果在 sys.modules 找到了对应的 module，并且这个 import 是由 import 语句触发的，那么下一步将对把对应的变量绑定到局部变量中。

如果没有发现任何缓存，那么系统将进行一个全新的 import 过程。在这个过程中 Python 将遍历 sys.meta_path 来寻找是否有符合条件的元路径查找器（meta path finder）。sys.meta_path 是一个存放元路径查找器的列表。它有三个默认的查找器：

  • 内置模块查找器
  • 冻结模块（frozen module）查找器
  • 基于路径的模块查找器。

In [1]: import sys

In [2]: sys.meta_path
Out[2]: 
[_frozen_importlib.BuiltinImporter,
 _frozen_importlib.FrozenImporter,
 _frozen_importlib_external.PathFinder]

查找器的 find_spec 方法决定了该查找器是否能处理要引入的模块并返回一个 ModeuleSpec 对象，这个对象包含了用来加载这个模块的相关信息。如果没有合适的 ModuleSpec 对象返回，那么系统将查看 sys.meta_path 的下一个元路径查找器。如果遍历 sys.meta_path 都没有找到合适的元路径查找器，将抛出 ModuleNotFoundError。引入一个不存在的模块就会发生这种情况，因为 sys.meta_path 中所有的查找器都无法处理这种情况：


In [1]: import nosuchmodule
---------------------------------------------------------------------------
ModuleNotFoundError      Traceback (most recent call last)
<ipython-input-1-40c387f4d718> in <module>
----> 1 import nosuchmodule

ModuleNotFoundError: No module named 'nosuchmodule'

但是，如果这个手动添加一个可以处理这个模块的查找器，那么它也是可以被引入的：


In [1]: import sys
 ...: 
 ...: from importlib.abc import MetaPathFinder
 ...: from importlib.Machinery import ModuleSpec
 ...: 
 ...: class NoSuchModuleFinder(MetaPathFinder):
 ...:  def find_spec(self, fullname, path, target=None):
 ...:   return ModuleSpec('nosuchmodule', None)
 ...: 
 ...: # don't do this in your script
 ...: sys.meta_path = [NoSuchModuleFinder()]
 ...: 
 ...: import nosuchmodule
---------------------------------------------------------------------------
ImportError        Traceback (most recent call last)
<ipython-input-6-b7cbf7e60adc> in <module>
  11 sys.meta_path = [NoSuchModuleFinder()]
  12 
---> 13 import nosuchmodule

ImportError: missing loader

可以看到，当我们告诉系统如何去 find_spec 的时候，是不会抛出 ModuleNotFound 异常的。但是要成功加载一个模块，还需要加载器 loader。

加载器是 ModuleSpec 对象的一个属性，它决定了如何加载和执行一个模块。如果说 ModuleSpec 对象是“师父领进门”的话，那么加载器就是“修行在个人”了。在加载器中，你完全可以决定如何来加载以及执行一个模块。这里的决定，不仅仅是加载和执行模块本身，你甚至可以修改一个模块：


In [1]: import sys
 ...: from types import ModuleType
 ...: from importlib.machinery import ModuleSpec
 ...: from importlib.abc import MetaPathFinder, Loader
 ...: 
 ...: class Module(ModuleType):
 ...:  def __init__(self, name):
 ...:   self.x = 1
 ...:   self.name = name
 ...: 
 ...: class ExampleLoader(Loader):
 ...:  def create_module(self, spec):
 ...:   return Module(spec.name)
 ...: 
 ...:  def exec_module(self, module):
 ...:   module.y = 2
 ...: 
 ...: class ExampleFinder(MetaPathFinder):
 ...:  def find_spec(self, fullname, path, target=None):
 ...:   return ModuleSpec('module', ExampleLoader())
 ...: 
 ...: sys.meta_path = [ExampleFinder()]

In [2]: import module

In [3]: module
Out[3]: <module 'module' (<__main__.ExampleLoader object at 0x7f7f0d07f890>)>

In [4]: module.x
Out[4]: 1

In [5]: module.y
Out[5]: 2

从上面的例子可以看到，一个加载器通常有两个重要的方法 create_module 和 exec_module 需要实现。如果实现了 exec_module 方法，那么 create_module 则是必须的。如果这个 import 机制是由 import 语句发起的，那么 create_module 方法返回的模块对象对应的变量将会被绑定到当前的局部变量中。如果一个模块因此成功被加载了，那么它将被缓存到 sys.modules。如果这个模块再次被加载，那么 sys.modules 的缓存将会被直接引用。

三、import 勾子（import hooks）

为了简化，我们在上述的流程图中，并没有提到 import 机制的勾子。实际上你可以添加一个勾子来改变 sys.meta_path 或者 sys.path，从而来改变 import 机制的行为。上面的例子中，我们直接修改了 sys.meta_path。实际上，你也可以通过勾子来实现：


In [1]: import sys
 ...: from types import ModuleType
 ...: from importlib.machinery import ModuleSpec
 ...: from importlib.abc import MetaPathFinder, Loader
 ...: 
 ...: class Module(ModuleType):
 ...:  def __init__(self, name):
 ...:   self.x = 1
 ...:   self.name = name
 ...: 
 ...: class ExampleLoader(Loader):
 ...:  def create_module(self, spec):
 ...:   return Module(spec.name)
 ...: 
 ...:  def exec_module(self, module):
 ...:   module.y = 2
 ...: 
 ...: class ExampleFinder(MetaPathFinder):
 ...:  def find_spec(self, fullname, path, target=None):
 ...:   return ModuleSpec('module', ExampleLoader())
 ...: 
 ...: def example_hook(path):
 ...:  # some conditions here
 ...:  return ExampleFinder()
 ...: 
 ...: sys.path_hooks = [example_hook]
 ...: # force to use the hook
 ...: sys.path_importer_cache.clear()
 ...: 
 ...: import module
 ...: module
Out[1]: <module 'module' (<__main__.ExampleLoader object at 0x7fdb08f74b90>)>

四、元路径查找器（meta path finder）

元路径查找器的工作就是看是否能找到模块。这些查找器存放在 sys.meta_path 中以供 Python 遍历（当然它们也可以通过 import 勾子返回，参见上面的例子）。每个查找器必须实现 find_spec 方法。如果一个查找器知道怎么处理将引入的模块，find_spec 将返回一个 ModuleSpec 对象（参见下节）否则返回 None。
和之前提到的一样 sys.meta_path 包含三种查找器：

  • 内置模块查找器
  • 冻结模块查找器
  • 基于路径的查找器

这里我们想重点聊一聊基于路径的查找器（path based finder)。它用于搜索一系列 import 路径，每个路径都用来查找是否有对应的模块可以加载。默认的路径查找器实现了所有在文件系统的特殊文件中查找模块的功能，这些特殊文件包括 Python 源文件（.py 文件），Python 编译后代码文件（.pyc 文件），共享库文件（.so 文件）。如果 Python 标准库中包含 zipimport，那么相关的文件也可用来查找可引入的模块。

路径查找器不仅限于文件系统中的文件，它还可以上 URL 数据库的查询，或者其他任何可以用字符串表示的地址。

你可以用上节提供的勾子来实现对同类型地址的模块查找。例如，如果你想通过 URL 来 import 模块，那么你可以写一个 import 勾子来解析这个 URL 并且返回一个路径查找器。

注意，路径查找器不同于元路径查找器。后者在 sys.meta_path 中用于被 Python 遍历，而前者特指基于路径的查找器。

五、ModuleSpec 对象

每个元路径查找器必须实现 find_spec 方法，如果该查找器知道如果处理要引入的模块，那么这个方法将返回一个 ModuleSpec 对象。这个对象有两个属性值得一提，一个是模块的名字，而另一个则是查找器。如果一个 ModuleSpec 对象的查找器是 None，那么类似 ImportError: missing loader 的异常将会被抛出。查找器将用来创建和执行一个模块（见下节）。

你可以通过 <module>.__spec__ 来查找模块的 ModuleSpec 对象：


In [1]: import sys

In [2]: sys.__spec__
Out[2]: ModuleSpec(name='sys', loader=<class '_frozen_importlib.BuiltinImporter'>)

六、加载器（loader)

加载器通过 create_module 来创建模块以及 exec_module 来执行模块。通常如果一个模块是一个 Python 模块（非内置模块或者动态扩展），那么该模块的代码需要在模块的 __dict__ 空间上执行。如果模块的代码无法执行，那么就会抛出 ImportError 异常，或者其他在执行过程中的异常也会被抛出。

绝大多数情况下，查找器和加载器是同一个东西。这种情况下，查找器的 find_spec 方法返回的 ModuleSpec 对象的 loader 属性将指向它自己。

我们可以用 create_module 来动态创建一个模块，如果它返回 None Python 会自动创建一个模块。

七、总结

Python 的 import 机制灵活而强大。以上的介绍大部分是基于官方文档，以及较新的 Python 3.6+ 版本。由于篇幅，还有很多细节并没有包含其中，例如子模块的加载、模块代码的缓存机制等等。文章中也难免出现纰漏如果有任何问题，欢迎到 github.com/pwwang/pyth… 开 issue 提问及讨论。

到此这篇关于Python入门基础之import机制的文章就介绍到这了,更多相关Python import机制内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！

您可能感兴趣的文档:

--结束END--

本文标题: Python入门基础之import机制

本文链接: https://lsjlt.com/news/121352.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Python入门基础之import机制
    目录 一、前言 1.1 什么是 import 机制？ 1.2 import 是如何执行的？ 二、import 机制概览 三、import 勾子（import hooks） ...
    99+
    2024-04-02
  • JavaScript基础入门之错误捕获机制
    目录前言Error 对象throwtry…catch…finallyfinally 的规则Try / Catch 性能window.onerrorPromise 中的异常Promis...
    99+
    2024-04-02
  • python基础之爬虫入门
    目录前言一、简单静态网页的爬取1.1 选取爬虫策略——缩略图1.2 选取爬虫策略——高清大图二、动态加载网站的爬取2.1 选取爬虫策略——selenium2.2 选取爬虫策略——ap...
    99+
    2024-04-02
  • python爬虫之『入门基础』
    1.首先需要了解一下http请求，当用户在地址栏中输入网址，发送网络请求的过程是什么？ 可以参考我之前学习的时候转载的一篇文章一次完整的HTTP事务过程–超详细 2.还需要了解一下http的请求方式 有兴趣的同学可以去查一下http的八...
    99+
    2023-01-31
    爬虫 入门 基础
  • python入门之语言基础
    目录1、注释2、代码缩进3、保留字4、标识符5、变量6、基础数据类型7、数据类型转换总结1、注释 注释是指在程序代码中添加的标注性的文字 单行注释：使用 # 注释内容 多行注释:在...
    99+
    2024-04-02
  • python基础入门之列表（一）
    目录正文增删改查循环其他的功能函数元组因为最近公司有python项目维护，所以把python的基础入门的书整理一遍，因为有些忘记了，同时在看<<python编程>&...
    99+
    2024-04-02
  • PHP之基础入门
    Php Php全称为：Hypertext Preprocessor(中文名：超文本预处理器)； 简称：personal Home page; 开始php之前，要先设置它的文件编码信息 header(‘Content-type:te...
    99+
    2023-09-10
    php 服务器 开发语言
  • python入门基础
    新的开始，新的奋斗！从今天起开始学习python的相关知识！ 首先python的基本的关键字和基本的分支结构都跟C语言差不多，这里主要介绍python中比较特别的一些基础内容，包括列表，元组和字符串 列表 创建列表 空列表...
    99+
    2023-01-30
    入门 基础 python
  • python-基础入门
    列表shoplist = ['apple', 'mango', 'carrot', 'banana']shoplist[2] = 'aa'del shoplist[0] #删除第一个元素shoplist.insert('4','www') ...
    99+
    2023-01-31
    入门 基础 python
  • Python:基础入门
    #Python 逻辑运算: and,or,not #Python中没有&&,||,!等短路逻辑运算符而是用and,or,not分别替代 print("================================ 逻辑运算...
    99+
    2023-01-31
    入门 基础 Python
  • Python入门之基础语法详解
    目录一、我的经历及目标二、Python简介三、Python基础语法3.1行和缩进3.2Python注释3.3Python空行3.4同一行显示多条语句3.5print输出3.6多个语句...
    99+
    2024-04-02
  • Python Requests 基础入门
    首先，Python 标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能，但是它的 API 不友好。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最...
    99+
    2022-06-04
    入门 基础 Python
  • python基础入门之字典和集合
    目录正文字典集合python 中有6大标准类型： 数字（Number） 字符串（String） 列表（List） 元组（Tumple） 集合（Set） 字典（Dictionary...
    99+
    2024-04-02
  • Python基础入门之if判断语句
    目录1.if 判断语句的基本语法2.比较(即关系)运算符 3.逻辑运算符 4.if - else 5.if 语句进阶——elif6.if的嵌套总结1.if 判断语句的基本语法 &n...
    99+
    2024-04-02
  • java基础入门之IO流
    目录io学习框架：文件：Io流的原理：节点流和处理流：BufferWriter:处理字节的处理流：标准输入和输出：转换流：打印流：Properties类：总结io学习框架： 文件：...
    99+
    2024-04-02
  • C++基础入门篇之强制转换讲解
    本篇内容主要讲解“C++基础入门篇之强制转换讲解”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“C++基础入门篇之强制转换讲解”吧!引言假设有基类 A，包含了虚函数 func1，以及有派生类 B，...
    99+
    2023-06-07
  • python入门基础教程
    Python是一门简单易学、功能强大的编程语言，适合初学者入门。下面是一个简要的Python入门基础教程，帮助您快速上手Python编程。1. 安装Python：首先，您需要在计算机上安装Python解释器。您可以从Python官方网站（h...
    99+
    2023-10-25
    python 入门 基础教程
  • 【Python】Jupyter的基础入门
    Jupyter经验分享 前言安装JupyterJupyter的使用创建jupyter文件分块运行清理运行结果合并上下文代码补全pip安装库，两种方式导出py、html或其他类文件 ...
    99+
    2023-10-20
    python jupyter 开发语言
  • Python旅途——入门基础
    1.入门 ​ 作为近几年计算机程序设计语言中很火的Python，是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。 2.计算机的基础 ​ ...
    99+
    2023-01-31
    旅途 入门 基础
  • Python基础学习入门
    Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。在命令行窗口输入"python" 命令来查看本地是否已经安装Python以及Python的安装版本Python下载Python官网：http://www...
    99+
    2023-06-02
软考高级职称资格查询
热门wiki
近期文章
推荐阅读
热门问答
热门标签
编程网，编程工程师的家园，是目前国内优秀的开源技术社区之一，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。

  • 官方手机版

  • 微信公众号

  • 商务合作