扫码关注官方微信

扫码下载APP
返回顶部
首页 > 资讯 > 后端开发 > Python >Python技法之如何用re模块实现简易tokenizer
  • 456

0
分享到

Python技法之如何用re模块实现简易tokenizer

2024-04-02 19:04:59 456人浏览 安东尼

Python 官方文档：入门教程 => 点击学习

摘要

目录一个简单的tokenizer过滤tokens流注意子串匹配陷阱引用 总结一个简单的tokenizer 分词（tokenization）任务是python字符串处理中最为

一个简单的tokenizer

分词（tokenization）任务是python字符串处理中最为常见任务了。我们这里讲解用正则表达式构建简单的表达式分词器（tokenizer），它能够将表达式字符串从左到右解析为标记(tokens)流。

给定如下的表达式字符串：

text = 'foo = 12 + 5 * 6'

我们想要将其转换为下列以序列对呈现的分词结果：

tokens = [('NAME', 'foo'), ('EQ', '='), ('NUM', '12'), ('PLUS', '+'),\
    ('NUM', '5'), ('TIMES', '*'), ('NUM', '6')]

要完成这样的分词操作，我们首先需要定义出所有可能的标记模式（所谓模式（pattern），为用来描述或者匹配/系列匹配某个句法规则的字符串，这里我们用正则表达式来做为模式），注意此处要包括空格whitespace，否则字符串中出现任何模式中没有的字符后，扫描就会停止。因为我们还需要给标记以NAME、EQ等名称，我们采用正则表达式中的命名捕获组来实现。

import re
NAME = r'(?P<NAME>[a-zA-Z_][a-zA-Z_0-9]*)' 
# 这里?P<NAME>表示模式名称，()表示一个正则表达式捕获组，合在一起即一个命名捕获组
EQ = r'(?P<EQ>=)'
NUM = r'(?P<NUM>\d+)' #\d表示匹配数字，+表示任意数量
PLUS = r'(?P<PLUS>\+)' #需要用\转义
TIMES = r'(?P<TIMES>\*)' #需要用\转义
WS = r'(?P<WS>\s+)' #\s表示匹配空格， +表示任意数量
master_pat = re.compile("|".join([NAME, EQ, NUM, PLUS, TIMES, WS]))  # | 用于选择多个模式，表示"或"

接下来我们用模式对象中的scanner()方法来完成分词操作，该方法创建一个扫描对象：

scanner = master_pat.scanner(text)

然后可以用match()方法获取单次匹配结果，一次匹配一个模式：

scanner = master_pat.scanner(text)
m = scanner.match() 
print(m.lastgroup, m.group()) # NAME foo
m = scanner.match()
print(m.lastgroup, m.group()) # WS

当然这样一次一次调用过于麻烦，我们可以使用迭代器来批量调用，并将单次迭代结果以具名元组形式存储

Token = namedtuple('Token', ['type', 'value'])
def generate_tokens(pat, text):
    scanner = pat.scanner(text)
    for m in iter(scanner.match, None):
        #scanner.match做为迭代器每次调用的方法，
        #None为哨兵的默认值，表示迭代到None停止
        yield Token(m.lastgroup, m.group())
    
for tok in generate_tokens(master_pat, "foo = 42"):
    print(tok)

最终显示表达式串"foo = 12 + 5 * 6"的tokens流为：

Token(type='NAME', value='foo')
Token(type='WS', value=' ')
Token(type='EQ', value='=')
Token(type='WS', value=' ')
Token(type='NUM', value='12')
Token(type='WS', value=' ')
Token(type='PLUS', value='+')
Token(type='WS', value=' ')
Token(type='NUM', value='5')
Token(type='WS', value=' ')
Token(type='TIMES', value='*')
Token(type='WS', value=' ')
Token(type='NUM', value='6')

过滤tokens流

接下来我们想要过滤掉空格标记，使用生成器表达式即可：

tokens = (tok for tok in generate_tokens(master_pat, "foo = 12 + 5 * 6")
          if tok.type != 'WS')
for tok in tokens:
    print(tok)

可以看到空格被成功过滤：

Token(type='NAME', value='foo')
Token(type='EQ', value='=')
Token(type='NUM', value='12')
Token(type='PLUS', value='+')
Token(type='NUM', value='5')
Token(type='TIMES', value='*')
Token(type='NUM', value='6')

注意子串匹配陷阱

tokens在正则表达式(即"|".join([NAME, EQ, NUM, PLUS, TIMES, WS]))中顺序也非常重要。因为在进行匹配时，re模块就会按照指定的顺序对模式做匹配。故若碰巧某个模式是另一个较长模式的子串时，必须保证较长的模式在前面优先匹配。如下面分别展示正确的和错误的匹配方法：

LT = r'(?P<LT><)'
LE = r'(?P<LE><=)'
EQ = r'(?P<EQ>>=)'
master_pat = re.compile("|".join([LE, LT, EQ]))  # 正确的顺序
master_pat = re.compile("|".join([LT, LE, EQ]))  # 错误的顺序

第二种顺序的错误之处在于，这样会把'<='文本匹配为LT('<')紧跟着EQ('=')，而没有匹配为单独的LE(<=)。

我们对于“有可能”形成子串的模式也要小心，比如下面这样：

PRINT = r'(?P<PRINT>print)'
NAME = r'(?P<NAME>[a-zA-Z_][a-zA-Z_0-9]*)'

master_pat = re.compile("|".join([PRINT, NAME]))  # 正确的顺序

for tok in generate_tokens(master_pat, "printer"):
    print(tok)

可以看到被print实际上成了另一个模式的子串，导致另一个模式的匹配出现了问题：

# Token(type='PRINT', value='print')
# Token(type='NAME', value='er')

更高级的语法分词，建议采用像PyParsing或PLY这样的包。特别地，对于英文自然语言文章的分词，一般被集成到各类NLP的包中（一般分为按空格拆分、处理前后缀、去掉停用词三步骤）。对于中文自然语言处理分词也有丰富的工具（比如jieba分词工具包）。

引用

  • [1] Martelli A, Ravenscroft A, Ascher D. Python cookbook[M]. " O'Reilly Media, Inc.", 2015.

 总结

到此这篇关于Python技法之如何用re模块实现简易tokenizer的文章就介绍到这了,更多相关Python re模块实现tokenizer内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！

您可能感兴趣的文档:

--结束END--

本文标题: Python技法之如何用re模块实现简易tokenizer

本文链接: https://lsjlt.com/news/117603.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Python技法之如何用re模块实现简易tokenizer
    目录一个简单的tokenizer过滤tokens流注意子串匹配陷阱引用 总结一个简单的tokenizer 分词（tokenization）任务是Python字符串处理中最为...
    99+
    2024-04-02
  • Python怎么用re模块实现简易tokenizer
    这篇文章主要介绍“Python怎么用re模块实现简易tokenizer”，在日常操作中，相信很多人在Python怎么用re模块实现简易tokenizer问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Pytho...
    99+
    2023-06-30
  • Python利用re模块实现简易分词(tokenization)
    目录一个简单的tokenizer过滤tokens流注意子串匹配陷阱一个简单的tokenizer 分词（tokenization）任务是Python字符串处理中最为常见任务了。我们这里...
    99+
    2024-04-02
  • Python怎么利用re模块实现简易分词
    本文小编为大家详细介绍“Python怎么利用re模块实现简易分词”，内容详细，步骤清晰，细节处理妥当，希望这篇“Python怎么利用re模块实现简易分词”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知识吧。一个简单的to...
    99+
    2023-06-30
  • Python中如何使用re模块实现okenizer
    这篇文章主要介绍“Python中如何使用re模块实现okenizer”，在日常操作中，相信很多人在Python中如何使用re模块实现okenizer问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Python中...
    99+
    2023-06-30
  • JavaScript如何使用简易的CO模块
    这篇文章将为大家详细讲解有关JavaScript如何使用简易的CO模块，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。简易的 CO 模块image使用方法：run 函数接受一个生成器函数，每当 run 函数...
    99+
    2023-06-27
  • 如何使用Python实现一个简易的ORM模型
    目录元类描述器本文记录下自己使用Python实现一个简易的ORM模型 使用到的知识 元类 描述器 元类 对于元类，我的理解其实也便较浅，大概是这个意思 所有的类都是使用元类来进行创建的，而所有的类的父类中必然是obj...
    99+
    2022-06-02
    python ORM python 实现ORM模型
  • Python使用re模块实现okenizer(表达式分词器)
    目录一个简单的tokenizer过滤tokens流注意子串匹配陷阱引用一个简单的tokenizer 分词（tokenization）任务是Python字符串处理中最为常见任务了。我们...
    99+
    2024-04-02
  • 如何用python实现简易聊天室
    本篇内容主要讲解“如何用python实现简易聊天室”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“如何用python实现简易聊天室”吧!1.功能：类似qq群聊功能有人进入聊天室需要输入姓名，姓名不...
    99+
    2023-06-20
  • Python使用re模块实现正则表达式操作指南
    目录一、前言二、匹配字符串1.使用match()方法进行匹配2.使用search()方法进行匹配3.使用findall()方法进行匹配三、替换字符串四、使用正则表达式分割字符串总结&...
    99+
    2024-04-02
  • Python如何实现模块和加载模块
    这篇文章主要介绍Python如何实现模块和加载模块，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！python可以做什么Python是一种编程语言，内置了许多有效的工具，Python几乎无所不能，该语言通俗易懂、容易入...
    99+
    2023-06-08
  • Python如何实现简易Web爬虫
    这篇文章给大家分享的是有关Python如何实现简易Web爬虫的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。 　　简介： 　　网络爬虫（又被称为网页蜘蛛)，网络机器人，是一种按...
    99+
    2024-04-02
  • Python模块怎么实现简单的调用
    这篇文章给大家分享的是有关Python模块怎么实现简单的调用的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。python可以做什么Python是一种编程语言，内置了许多有效的工具，Python几乎无所不能，该语言通...
    99+
    2023-06-14
  • 如何用Python实现简易五子棋游戏
    这篇文章主要介绍了如何用Python实现简易五子棋游戏的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇如何用Python实现简易五子棋游戏文章都会有所收获，下面我们一起来看看吧。具体代码如下class ...
    99+
    2023-06-30
  • Python基础之模块如何使用
    一、模块模块可以看成是一堆函数的集合体。一个py文件内部就可以放一堆函数，因此一个py文件就可以看成一个模块。如果这个py文件的文件名为module.py，模块名则是module。1、模块的四种形式在Python中，总共有以下四种形式的模块...
    99+
    2023-05-15
    Python
  • js如何实现简单购物车模块
    这篇文章主要介绍js如何实现简单购物车模块，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！具体内容如下主要功能输入框正则判断，两位数小数，开头可以为0如果商品名字相同，自动数量+1，如果名字相同，价格不同，以最新价格为...
    99+
    2023-06-14
  • python如何实现简易猜数小游戏
    这篇文章主要介绍“python如何实现简易猜数小游戏”，在日常操作中，相信很多人在python如何实现简易猜数小游戏问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”python如何实现简易猜数小游戏”的疑惑有所...
    99+
    2023-06-26
  • Python基础之如何使用multiprocessing模块
    一、multiprocessing模块 multiprocessing包是Python中的多进程管理包。与threading.Thread类似，它可以使用multiprocessing.Proces 对象来创建一个进...
    99+
    2022-06-02
    multiprocessing模块的使用 python multiprocessing
  • python标准库之time模块的语法与简单使用
    目录表示时间的方式 1. 调用语法： 2. time概述3. 时间获取4. 时间格式化（将时间以合理的方式展示出来）5. 程序计时应用6. 示例总结表示时间的方式 时间戳表示法： ...
    99+
    2024-04-02
  • Golang如何实现简易的rpc调用
    这篇文章主要介绍“Golang如何实现简易的rpc调用”，在日常操作中，相信很多人在Golang如何实现简易的rpc调用问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Golang如何实现简易的rpc调用”的疑...
    99+
    2023-07-05
软考高级职称资格查询
热门wiki
近期文章
推荐阅读
热门问答
热门标签
编程网，编程工程师的家园，是目前国内优秀的开源技术社区之一，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。

  • 官方手机版

  • 微信公众号

  • 商务合作