返回顶部
首页 > 资讯 > 后端开发 > Python >详解elasticsearch实现基于拼音搜索
  • 550
分享到

详解elasticsearch实现基于拼音搜索

elasticsearch拼音搜索elasticsearch搜索 2023-01-16 09:01:32 550人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

目录1、背景2、安装拼音分词器3、拼音分词器提供的功能4、简单测试一下拼音分词器4.1 dsl4.2 运行结果5、es中分词器的组成6、自定义一个分词器实现拼音和中文的搜索1、创建m

1、背景

一般情况下,有些搜索需求是需要根据拼音和中文来搜索的,那么在elasticsearch中是如何来实现基于拼音来搜索的呢?可以通过elasticsearch-analysis-pinyin分析器来实现。

2、安装拼音分词器

# 进入 es 的插件目录
cd /usr/local/es/elasticsearch-8.4.3/plugins
# 下载
wget https://GitHub.com/medcl/elasticsearch-analysis-pinyin/releases/download/v8.4.3/elasticsearch-analysis-pinyin-8.4.3.zip
# 新建目录
mkdir analysis-pinyin
# 解压
mv elasticsearch-analysis-pinyin-8.4.3.zip analysis-pinyin && cd analysis-pinyin && unzip elasticsearch-analysis-pinyin-8.4.3.zip && rm -rvf elasticsearch-analysis-pinyin-8.4.3.zip
cd ../ && chown -R es:es analysis-pinyin
# 启动es
/usr/local/es/elasticsearch-8.4.3/bin/elasticsearch -d

3、拼音分词器提供的功能

拼音分词器提供如下功能

每个选项的含义 可以通过 文档中的例子来看懂。

4、简单测试一下拼音分词器

4.1 dsl

GET _analyze
{
  "text": ["我是中国人"],
  "analyzer": "pinyin"
}

"analyzer": "pinyin" 此处的pinyin是拼音分词器自带的。

4.2 运行结果

从图片上,实现了拼音分词,但是这个不一定满足我们的需求,比如没有中文了,单个的拼音(比如:wo)是没有什么用的,需要对拼音分词器进行定制化。

5、es中分词器的组成

elasticsearch中分词器analyzer由如下三个部分组成:

  • character filters: 用于在tokenizer之前对文本进行处理。比如:删除字符,替换字符等。
  • tokenizer: 将文本按照一定的规则分成独立的token。即实现分词功能。
  • tokenizer filter:tokenizer输出的词条做进一步的处理。比如: 同义词处理,大小写转换、移除停用词,拼音处理等。

6、自定义一个分词器实现拼音和中文的搜索

需求: 自定义一个分词器,即可以实现拼音搜索,也可以实现中文搜索。

1、创建mapping

PUT /test_pinyin
{
  "settings": {
    // 分析阶段的设置
    "analysis": {
      // 分析器设置
      "analyzer": {
        // 自定义分析器,在tokenizer阶段使用ik_max_Word,在filter上使用py
        "custom_analyzer": {
          "tokenizer": "ik_max_word",
          "filter": "custom_pinyin"
        }
      },
      // 由于不满足pinyin分词器的默认设置,所以我们基于pinyin
      // 自定义了一个filter,叫py,其中修改了一些设置
      // 这些设置可以在pinyin分词器官网找到
      "filter": {
        "custom_pinyin": {
          "type": "pinyin",
          // 不会这样分:刘德华 > [liu, de, hua]
          "keep_full_pinyin": false,
          // 这样分:刘德华 > [liudehua]
          "keep_joined_full_pinyin": true,
          // 保留原始token(即中文)
          "keep_original": true,
          // 设置first_letter结果的最大长度,默认值:16
          "limit_first_letter_length": 16,
          // 当启用此选项时,将删除重复项以保存索引,例如:de的> de,默认值:false,注意:位置相关查询可能受影响
          "remove_duplicated_term": true,
          // 如果非汉语字母是拼音,则将其拆分为单独的拼音术语,默认值:true,如:liudehuaalibaba13zhuanghan- > liu,de,hua,a,li,ba,ba,13,zhuang,han,注意:keep_none_chinese和keep_none_chinese_together应首先启用
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  // 定义mapping
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        // 创建倒排索引时使用的分词器
        "analyzer": "custom_analyzer",
        // 搜索时使用的分词器,搜索时不使用custom_analyzer是为了防止 词语的拼音一样,但是中文含义不一样,导致搜索错误。 比如: 科技 和 客机,拼音一样,但是含义不一样
        "search_analyzer": "ik_smart"
      }
    }
  }
}

注意:可以看到 我们的 name字段 使用的分词器是 custom_analyzer,这个是我们在上一步定义的。但是搜索的时候使用的是 ik_smart,这个为甚么会这样呢?
假设我们存在如下2个文本 科技强国和 这是一架客机, 那么科技和客机的拼音是不是就是一样的。 这个时候如果搜索时使用的分词器也是custom_analyzer那么,搜索科技的时候客机也会搜索出来,这样是不对的。因此在搜索的时候中文就以中文搜,拼音就以拼音搜。

{
  "name": {
    "type": "text",
    "analyzer": "custom_analyzer",
    "search_analyzer": "ik_smart"
  }
}

analyzersearch_analyzer的值都是custom_analyzer,搜索时也会通过拼音搜索,这样的结果可能就不是我们想要的。

2、插入数据

PUT /test_pinyin/_bulk
{"index":{"_id":1}}
{"name": "科技强国"}
{"index":{"_id":2}}
{"name": "这是一架客机"}
{"index":{"_id":3}}

3、搜索数据

参考文档

1、github.com/medcl/elast…

以上就是详解elasticsearch实现基于拼音搜索的详细内容,更多关于elasticsearch 拼音搜索的资料请关注编程网其它相关文章!

--结束END--

本文标题: 详解elasticsearch实现基于拼音搜索

本文链接: https://lsjlt.com/news/177832.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 详解elasticsearch实现基于拼音搜索
    目录1、背景2、安装拼音分词器3、拼音分词器提供的功能4、简单测试一下拼音分词器4.1 dsl4.2 运行结果5、es中分词器的组成6、自定义一个分词器实现拼音和中文的搜索1、创建m...
    99+
    2023-01-16
    elasticsearch 拼音搜索 elasticsearch 搜索
  • PHP 中基于 Elasticsearch 的模糊搜索与语义搜索实现
    在现代互联网环境下,搜索功能已经成为了各种应用的必备功能之一。传统的模糊搜索往往只能按照关键字进行简单的匹配,而缺乏了对用户意图的理解。而语义搜索则可以更好地抓住用户的意图,从而提供更加精确的搜索结果。在本文中,我们将介绍如何在 PHP 中...
    99+
    2023-10-21
    elasticsearch 模糊搜索 语义搜索
  • SpringBoot+Elasticsearch实现数据搜索的方法详解
    目录一、简介二、代码实践2.1、导入依赖2.2、配置环境变量2.3、创建 elasticsearch 的 config 类2.4、索引管理2.5、文档管理三、小结一、简介 在上篇 E...
    99+
    2024-04-02
  • 基于PHP和Elasticsearch的实时搜索技术应用
    引言 随着互联网的发展和信息的爆炸增长,用户对于快速、精准的搜索需求也越来越高。 传统的数据库查询方式已经无法满足这种需求,而Elasticsearch作为一款开源的实时分布式搜索和分析引擎,正逐...
    99+
    2023-09-23
    php elasticsearch 开发语言
  • PHP 中基于 Elasticsearch 的相关搜索功能开发实践
    概述在现代Web开发中,搜索功能是一个非常重要的部分。而Elasticsearch作为一个强大而灵活的分布式搜索引擎,被广泛应用于各类Web应用中。本文将介绍如何在PHP中使用Elasticsearch开发相关搜索功能,并附上具体的代码示例...
    99+
    2023-10-21
    elasticsearch 开发实践 相关搜索
  • 详解如何在Elasticsearch中搜索空值
    目录引言选项 1:null_value 映射参数选项2:使用 MUST_NOT 查询引言 根据 Elasticsearch 文档,无法索引或搜索空值 null。 当一个字段设置为 ...
    99+
    2023-01-28
    Elasticsearch搜索空值 Elasticsearch 空值
  • SpringBoot+Elasticsearch如何实现数据搜索
    这篇文章主要介绍了SpringBoot+Elasticsearch如何实现数据搜索的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇SpringBoot+Elasticsearch如何实现数据搜索文章都会有所收获,...
    99+
    2023-06-30
  • vue+iview如何实现拼音、首字母、汉字模糊搜索
    目录先看效果图解决思路页面结构校验规则远程搜索方法表单submit提交方法的传参中最近项目做的后台管理系统中,要求实现一个支持拼音、首字母和汉字模糊搜索的下拉框。项目是用vue+iv...
    99+
    2024-04-02
  • Android基于RecyclerView实现高亮搜索列表
    话不多说先看今天的实现的效果: 相信这种效果很多项目都会用到,今天就讲讲利用RecycleView来实现他,博主把此篇文章定位初级篇,可能因为这确实很简单,所以我要更要讲的详...
    99+
    2022-06-06
    列表 recyclerview 高亮 Android
  • PHP 中基于 Elasticsearch 的商品推荐与个性化搜索
    文章正文:引言:随着电子商务的不断发展,商品推荐和个性化搜索变得越来越重要。用户希望能够在海量商品中快速找到满足自己需求的产品,而商家也需要通过推荐系统将最合适的商品展示给用户。在 PHP 开发中,利用 Elasticsearch 实现商品...
    99+
    2023-10-21
    PHP elasticsearch 推荐与搜索
  • PHP 中基于 Elasticsearch 的多语种搜索与翻译技术
    摘要:随着全球化的不断发展,多语种搜索与翻译变得越来越重要。在 PHP 开发中,使用 Elasticsearch 可以方便地实现多语种搜索和翻译功能。本文将介绍如何在 PHP 中使用 Elasticsearch 进行多语种搜索与翻译,并提供...
    99+
    2023-10-21
    elasticsearch 关键词:PHP 多语种搜索
  • php操作ElasticSearch搜索引擎流程详解
    目录一、安装二、使用三、新建ES数据库四、创建表五、插入数据六、 查询所有数据七、查询单条数据八、搜索九、测试代码〝 古人学问遗无力,少壮功夫老始成 〞 如果这篇文章能给你带来一点帮助,希望给飞兔小哥哥一键三连,表示支持,谢谢各位小伙伴们。...
    99+
    2021-02-18
    php ElasticSearch搜索引擎 php 搜索引擎
  • vue+iview怎么实现拼音、首字母和汉字模糊搜索
    这篇文章主要介绍“vue+iview怎么实现拼音、首字母和汉字模糊搜索”,在日常操作中,相信很多人在vue+iview怎么实现拼音、首字母和汉字模糊搜索问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”vue+i...
    99+
    2023-06-29
  • 基于C#实现语音识别功能详解
    在.NET4.0中,我可以借助System.Speech组件让电脑来识别我们的声音。 以上,当我说"name",显示"Darren",我说&...
    99+
    2024-04-02
  • html5怎么实现语音搜索
    小编给大家分享一下html5怎么实现语音搜索,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧! 谷歌的...
    99+
    2024-04-02
  • HTML5怎样实现语音搜索
    这篇文章主要为大家展示了“HTML5怎样实现语音搜索”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“HTML5怎样实现语音搜索”这篇文章吧。Html5支持语音搜索...
    99+
    2024-04-02
  • HTML5如何实现语音搜索
    这篇文章主要介绍HTML5如何实现语音搜索,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!淘宝网的语音搜索也有了一阵子了,但似乎都没看到相关的博客或帖子在说这个如何实现,今天查了点资料...
    99+
    2024-04-02
  • PHP 中基于 Elasticsearch 的搜索结果展示与定制技术
    引言:在现代互联网时代,搜索功能是网站和应用不可或缺的一部分。如何通过搜索引擎快速准确地展示用户想要的结果,一直是开发者们面临的挑战。Elasticsearch 是一款开源的分布式全文搜索引擎,以其高性能、强大的搜索和分析能力在开发者中广泛...
    99+
    2023-10-21
    PHP elasticsearch 搜索结果展示
  • 如何在PHP中使用ElasticSearch实现搜索
    这篇“如何在PHP中使用ElasticSearch实现搜索”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“如何在PHP中使用E...
    99+
    2023-06-05
  • BAT大牛亲授 基于ElasticSearch的搜房网实战
    String 前往下载 = " http://icourse8.com/ElasticSearch_soufang.html ";目录详情第1章 课程介绍  &...
    99+
    2023-06-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作