返回顶部
首页 > 资讯 > 后端开发 > Python >python 特殊词汇过滤功能的实现
  • 118
分享到

python 特殊词汇过滤功能的实现

2024-04-02 19:04:59 118人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

python的其中一个强大之处就是它可以方便的集成很多的非标准库,今天在GitHub上溜达又发现了一个脏话处理神器,导入better_profanity库后,只需要几行代码就能搞定了

python的其中一个强大之处就是它可以方便的集成很多的非标准库,今天在GitHub上溜达又发现了一个脏话处理神器,导入better_profanity库后,只需要几行代码就能搞定了,相当nice!

使用pip的方式将better_profanity非标准库安装好,这个库好像在清华大学的镜像站中没有,其他镜像站不知道有没有,于是下载时没有使用镜像站,默认到官方去下载即可。

pip install better_profanity
# 将处理模块直接导入到代码块中
from better_profanity import profanity

1、默认脏话库/敏感词库处理

默认情况下就只能处理英文的脏话。

censored_text = profanity.censor("you are bitch",'-')
print(censored_text)
# you are ----

可以看到其中bitch字符被认为是脏话已经处理成****字符了。

当然,还可以将处理后的脏话字符换成别的字符代替,比如下面这样处理。

censored_text = profanity.censor("you are bitch",'-')
print(censored_text)
# you are ----

这样****就被替换成了----。

2、自定义过滤信息处理

bad_Words = ['Python', 'Java', 'Scala']  # 自定义过滤词汇
profanity.load_censor_words(bad_words)  # 加载自定义过滤词汇
censored_text = profanity.censor("Python is very Good !")  # 执行过滤
print(censored_text)
# **** is very Good !

可以发现,想要过滤的python字符已经成功过滤掉了。

3、contains_profanity函数

contains_profanity函数用来查看我们的语句中是否包含需要过滤的词汇,如果包含则会返回True,否则返回False。

bad_words = ['bitch', 'Java', 'Scala']  # 自定义过滤词汇
profanity.load_censor_words(bad_words)  # 加载自定义过滤词汇
censored_text = profanity.contains_profanity("you are bitch")
print(censored_text)
# True

结果为True,表示包含需要过滤的词汇信息。

4、load_censor_words_from_file函数

load_censor_words_from_file函数用于加载需要过滤词汇的文件。

profanity.load_censor_words_from_file('/usr/load/bad_words.txt')

加载完词汇文件之后,按照之前的逻辑处理即可。

词汇文件的定义格式,按照每个词汇独占一行的形式进行定义,文件格式使用.txt文本文档即可。

# bitch
# bitches
# bitchin
# bitching
# blowjob
# blowjobs
# blue waffle

到此这篇关于python 脏话处理、特殊词汇过滤的文章就介绍到这了,更多相关python 特殊词汇过滤内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: python 特殊词汇过滤功能的实现

本文链接: https://lsjlt.com/news/119600.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • python 特殊词汇过滤功能的实现
    python的其中一个强大之处就是它可以方便的集成很多的非标准库,今天在GitHub上溜达又发现了一个脏话处理神器,导入better_profanity库后,只需要几行代码就能搞定了...
    99+
    2024-04-02
  • python轻松过滤处理脏话与特殊敏感词汇
    目录1、默认脏话库/敏感词库处理2、自定义过滤信息处理3、contains_profanity函数4、load_censor_words_from_file函数python的其中一个...
    99+
    2024-04-02
  • Spring Boot 实现敏感词及特殊字符过滤处理
    背景: 技术采用的是 Spring Boot ,请求方法主要为 POST, 请求使用较多的注解为 @RequestBody 交付测试人员进行测试,测试人员在对模糊搜索模块进行了各种特...
    99+
    2024-04-02
  • Spring Boot如何实现敏感词及特殊字符过滤处理
    这篇文章主要介绍“Spring Boot如何实现敏感词及特殊字符过滤处理”,在日常操作中,相信很多人在Spring Boot如何实现敏感词及特殊字符过滤处理问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Spr...
    99+
    2023-06-20
  • python实现过滤敏感词
    简述: 关于敏感词过滤可以看成是一种文本反垃圾算法,例如  题目:敏感词文本文件 filtered_words.txt,当用户输入敏感词语,则用 星号 * 替换,例如当用户输入「北京是个好城市」,则变成「...
    99+
    2022-06-02
    python 敏感词 python 过滤敏感词
  • Python 敏感词过滤的实现示例
    目录 一个简单的实现使用BSF(宽度优先搜索)进行实现 使用DFA(Deterministic Finite Automaton)进行实现  一个简单的实现 主要...
    99+
    2024-04-02
  • golang敏感词过滤的实现
     用golang写了敏感词过滤的工具,主要用来检测用户昵称中是否存在敏感词,同时提供剔除转移字符的功能。 可以先将敏感词库存放在一个map中,敏感词可以参考这里:https...
    99+
    2023-01-03
    golang敏感词过滤 golang敏感词
  • servlet实现简单的权限管理和敏感词过滤功能
    目录前言一、如何实现权限管理1.思路2.代码实现二、敏感词过滤1.思路2.代码实现三、效果展示1.未登录访问其他资源前言 JavaEE课要求用servlet和过滤器实现权限管理和敏感...
    99+
    2024-04-02
  • python:过滤字符串中的字母数字特殊
    今天遇到的字符串处理的问题,记录一下方便使用   1 str1 = input('请输入一个字符:') 2 #初始化字符、数字、空格、特殊字符的计数 3 lowercase = 0 4 uppercase = 0 5 nu...
    99+
    2023-01-30
    字符串 字母 数字
  • Solr通过特殊字符分词实现自定义分词器详解
    前言我们在对英文句子分词的时候,一般采用采用的分词器是WhiteSpaceTokenizerFactory,有一次因业务要求,需要根据某一个特殊字符(以逗号分词,以竖线分词)分词。感觉这种需求可能与WhiteSpaceTokenizerFa...
    99+
    2023-05-31
    solr 自定义分词器 特殊字符
  • jquery如何实现过滤功能
    本篇内容介绍了“jquery如何实现过滤功能”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成! ...
    99+
    2024-04-02
  • servlet如果实现简单的权限管理和敏感词过滤功能
    这篇文章主要介绍了servlet如果实现简单的权限管理和敏感词过滤功能,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。一、如何实现权限管理1.思路当用户访问某个资源时,我们必须...
    99+
    2023-06-15
  • Python基于DFA算法实现内容敏感词过滤
    DFA 算法是通过提前构造出一个 树状查找结构,之后根据输入在该树状结构中就可以进行非常高效的查找。 设我们有一个敏感词库,词酷中的词汇为: 我爱你我爱他我爱她我爱你呀我爱他呀我爱她...
    99+
    2024-04-02
  • SpringBoot实现过滤敏感词的示例代码
    过滤敏感词 1. 创建一个储存要过滤的敏感词的文本文件 首先创建一个文本文件储存要过滤的敏感词 在下面的工具类中我们会读取这个文本文件,这里提前给出 @PostConstruct...
    99+
    2022-11-13
    SpringBoot过滤敏感词 SpringBoot 敏感词
  • android下拉框过滤功能怎么实现
    在Android中实现下拉框的过滤功能可以通过以下步骤来实现: 创建一个下拉框(Spinner)和一个适配器(Adapter)来管...
    99+
    2024-03-04
    android
  • Spring Boot 整合RocketMq实现消息过滤功能
    目录简介根据TAG过滤消息生产者消费者测试结果根据SQL表达式过滤消息生产者消费者启动程序报错The broker does not support consumer to filt...
    99+
    2024-04-02
  • 如何在MongoDB中实现数据过滤功能
    如何在MongoDB中实现数据过滤功能MongoDB 是一种世界上最流行的 NoSQL 数据库,它以其高度的扩展性和灵活性而广受开发人员的青睐。在使用 MongoDB 时,我们经常需要根据特定的条件从数据库中检索数据。为此,MongoDB ...
    99+
    2023-10-22
    MongoDB 数据过滤
  • Tree组件搜索过滤功能实现干货
    目录1 Tree 组件搜索过滤功能简介2 组件交互逻辑分析2.1 对于匹配节点的标识如何呈现?2.2 用户如何调用 tree 组件的搜索过滤功能?2.3 对于匹配的节点其父节点及兄弟...
    99+
    2024-04-02
  • Python方差特征过滤的实例分析
    说明 通过特征本身的方差来筛选特征。特征的方差越小,特征的变化越不明显。 变化越不明显的特征对我们区分标签没有太大作用,因此应该消除这些特征。 实例 def variance_demo(): """ ...
    99+
    2022-06-02
    Python 方差特征 过滤
  • Python基于DFA算法怎么实现内容敏感词过滤
    这篇文章主要讲解了“Python基于DFA算法怎么实现内容敏感词过滤”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python基于DFA算法怎么实现内容敏感词过滤”吧!DFA 算法是通过提前...
    99+
    2023-06-30
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作