返回顶部
首页 > 资讯 > 后端开发 > Python >django+drf_haystack+elasticsearch+ik+高亮显示
  • 214
分享到

django+drf_haystack+elasticsearch+ik+高亮显示

djangopython后端 2023-09-06 16:09:50 214人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

0.前提准备 环境 1. 准备好Django2.22. 创建一个app3.elasticsearch7.5启动4.可视化工具(实在没有,也没啥)  models.py from djanGo.db import models# Create

0.前提准备

环境

1. 准备好Django2.22. 创建一个app3.elasticsearch7.5启动4.可视化工具(实在没有,也没啥)

 models.py

from djanGo.db import models# Create your models here.class Article(models.Model):    title = models.CharField(verbose_name='文章标题', max_length=225, db_index=True)    content = models.TextField(verbose_name='内容')    # 外键    tag = models.ForeignKey(verbose_name='标签', to='Tag', on_delete=models.DO_NOTHING)    def __str__(self):        return self.titleclass Tag(models.Model):    name = models.CharField(verbose_name='标签', max_length=225)    def __str__(self):        return self.name

1.安装

pip3 install jieba  -i https://pypi.douban.com/simple/           pip3 install django-haystack -i Https://pypi.douban.com/simple/pip3 install drf-haystack -i https://pypi.douban.com/simple/pip3 install elasticsearch==7.6.0 -i https://pypi.douban.com/simple/pip3 install django==2.2 -i https://pypi.douban.com/simple/

 2.setting.py

es其他版本配置

Haystack 入门 — Haystack 2.5.0 文档 (django-haystack.readthedocs.io)https://django-haystack.readthedocs.io/en/master/tutorial.html

# 注册INSTALLED_APPS = [    ...    'haystack',    'rest_framework',    ...]# 配置7.xHAYSTACK_CONNECTIONS = {    'default': {        'ENGINE': 'haystack.backends.elasticsearch7_backend.Elasticsearch7SearchEngine',        'URL': 'http://127.0.0.1:9200/',        'INDEX_NAME': 'haystack',    },}

3.配置 drf_haystack

3.1 目录介绍

文字介绍

app01/templates/search/indexes/app01/article_text.txt
indexes:是你要建立的索引的app,article是你要建立索引的那个模型名(小写)

图解

3.2 article.text.txt

给这几个字段建立索引,用作全文检索

{{ object.tile}}{{ object.tag.name}}{{ object.content }}

4. search_indexes.py

4.1 介绍

search_indexes.py固定写法,必须叫这个名字

位置:在自己的app下创建即可

4.2 search_indexes.py

索引模型类的名称必须是 模型类名称 + Index

from haystack import indexesfrom .models import Article# 必须继承  indexes.SearchIndex, indexes.Indexable# ArticleIndex是固定格式命名,Article是你models.py中的类名class ArticleIndex(indexes.SearchIndex, indexes.Indexable):    # document=True:将为text字段内容建立索引,此字段内容,可以由多个字段内容联合而成,有且只有一个    # use_template=True决定建立索引的字段内容,可以自定义模板    text = indexes.CharField(document=True, use_template=True)    # 下面的就是和你model里面的一样了    # python manage.py rebuild_index    # model_attr指定为对应模型的哪个字段    # 以下字段作为辅助字段,我也不知道辅助什么    id = indexes.IntegerField(model_attr='id')    title = indexes.CharField(model_attr='title')    tag = indexes.CharField(model_attr='tag')    #  必须这个写,返回的就是你的model名称    def get_model(self):        """返回建立索引的模型类"""        # 每次查询都走这个        return Article    # 返回你的查询的结果,可以改成一定的条件的,但是格式就是这样    def index_queryset(self, using=None):        """返回要建立索引的数据查询集"""        # 写入es的数据        query_set = self.get_model().objects.all()        return query_set

5. serializers.py

from haystack.utils import Highlighterfrom rest_framework import serializersfrom drf_haystack.serializers import HaystackSerializer, HighlighterMixinfrom .search_indexes import *class ArticleSerializer(serializers.ModelSerializer):    """    序列化器    """    tag = serializers.CharField(source='tag.name')    class Meta:        model = Article        # 返回除了搜索字段外的所需要的其他字段数据, 可以将所有需要返回的字段数据写上,便于提取        fields = ('id', 'title', 'tag', 'content')# 写法一:普通序列化,使用内置的高亮class ArticleIndexSerializer(HaystackSerializer):    """    SKU索引结果数据序列化器    """    # 变量名称必须为 object 否则无法返回    # 变量名称必须为 object 否则无法返回,    # 返回除搜索字段以外的字段,由上面ArticleSerializer自定义返回字段    object = ArticleSerializer(read_only=True)  # 只读,不可以进行反序列化    class Meta:        index_classes = [ArticleIndex]  # 索引类的名称,可以有多个        # text 由索引类进行返回, object 由序列化类进行返回,第一个参数必须是text        # 返回字段,不写默认全部返回        # text字段必须有,不然无法实现搜索        # 控制的是建立的索引字段        fields = ['text', object]        # fields = ['text']        # 忽略字段        # ignore_fields = ['title']        # 除了该字段,其他的都返回,        # exclude = ['title']'''# 写法二:自定义高亮,比内置的要慢一点class ArticleIndexSerializer(HighlighterMixin, HaystackSerializer):    """    SKU索引结果数据序列化器    """    # 变量名称必须为 object 否则无法返回,    # 返回除搜索字段以外的字段,由上面ArticleSerializer自定义返回字段    object = ArticleSerializer(read_only=True)  # 只读,不可以进行反序列化    # 高亮显示字段配置    # highlighter_class = Highlighter    # 前端自定义CSS名称    highlighter_css_class = "my-highlighter-class"    # html    highlighter_html_tag = "em"    # 最宽    highlighter_max_length = 200    class Meta:        index_classes = [ArticleIndex]  # 索引类的名称,可以有多个        fields = ['text', object]'''

6. views.py

from django.shortcuts import HttpResponsefrom drf_haystack.viewsets import HaystackViewSetfrom drf_haystack.filters import HaystackOrderingFilter, HaystackHighlightFilterfrom .models import *from .paginations import ArticleSearchPageNumberPaginationfrom .serializers import ArticleIndexSerializerclass ArticleSearchViewSet(HaystackViewSet):    """    文章搜索    """    index_models = [Article]  # 表模型,可以添加多个    serializer_class = ArticleIndexSerializer    pagination_class = ArticleSearchPageNumberPagination    # 高亮,排序    # HaystackOrderingFilter:排序,    # HaystackHighlightFilter:内置高亮,如果使用了方式自定义高亮,就不要配置这个了    filter_backends = [HaystackOrderingFilter, HaystackHighlightFilter]    ordering_fields = ('id',)    """    """    # 重写,自己可以构造数据    def list(self, request, *args, **kwargs):        response = super(ArticleSearchViewSet, self).list(request, *args, **kwargs)        data = response.data        # 本文修改返回数据,把返回的索引字段去掉,您可以根据自己的需求,把这一句注释掉        [item.pop('text') for item in data['results']]        return response

7.urls.py

from django.contrib import adminfrom django.urls import path, re_pathfrom app01 import views# 路由方式一,首页即可看到数据# http://127.0.0.1:8000/search/?text=中国&ordering=id# http://127.0.0.1:8000/search/?text=中国from rest_framework.routers import SimpleRouterrouter = SimpleRouter()router.reGISter('search', views.ArticleSearchViewSet, basename='search_api')# router.register("", views.ArticleAPIView)urlpatterns = [    # re_path(r'^$', views.ArticleSearchViewSet.as_view({'get': 'list'})),    path('admin/', admin.site.urls),    path('update/', views.update)]urlpatterns += router.urls# 路由方式二,大黄页"""# http://127.0.0.1:8000/search/?text=中国&ordering=id# http://127.0.0.1:8000/search/?text=中国urlpatterns = [    path('admin/', admin.site.urls),    re_path(r'search_one/(?P\d+)/', views.ArticleSearchViewSet.as_view({'get': 'retrieve'})),    path('search/', views.ArticleSearchViewSet.as_view({'get': 'list'})),]"""

8.paginations

from rest_framework.pagination import PageNumberPaginationclass ArticleSearchPageNumberPagination(PageNumberPagination):    """文章搜索分页器"""    # 每页显示几条    page_size = 10    # 最大数量    max_page_size = 5000    # 前端自定义查询的数量,?size=10    page_size_query_param = "size"    # 查询参数    page_query_param = "page"

9.执行

Python manage.py makemigrationspython manage.py migrate# 重新创建索引,删掉之前的,进行数据同步python manage.py rebuild_index

10. 验证是从es中查询的数据

直接修改Mysql数据库数据,查看查询的数据会不会改变,不改就是es,改了就是mysql

11.换成ik分词器

11.1安装

基于Docker安装Elasticsearch+ElasticSearch-Head+IK分词器_骑台风走的博客-CSDN博客基于docker安装Elasticsearch+ElasticSearch-Head+IK分词器https://blog.csdn.net/qq_52385631/article/details/126567059?spm=1001.2014.3001.5501ES--IK分词器安装_骑台风走的博客-CSDN博客ik_max_Word: 会将文本做最细粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”,会穷尽各种可能的组合,适合 Term Query;ik_smart: 会做最粗粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”,适合 Phrase 查询。......https://blog.csdn.net/qq_52385631/article/details/126392092?spm=1001.2014.3001.5501

11.2 使用ik重写es7.5引擎

10.2.1 新建elasticsearch_ik_backend.py(在自己的app下)

在 blog应用下新建名为 elasticsearch7_ik_backend.py 的文件,

继承 Elasticsearch7SearchBackend(后端) 和 Elasticsearch7SearchEngine(搜索引擎) 并重写建立索引时的分词器设置

elasticsearch7_ik_backend.py

from haystack.backends.elasticsearch7_backend import Elasticsearch7SearchBackend, Elasticsearch7SearchEngine """分析器主要有两种情况会被使用:第一种是插入文档时,将text类型的字段做分词然后插入倒排索引,第二种就是在查询时,先对要查询的text类型的输入做分词,再去倒排索引搜索如果想要让 索引 和 查询 时使用不同的分词器,ElasticSearch也是能支持的,只需要在字段上加上search_analyzer参数在索引时,只会去看字段有没有定义analyzer,有定义的话就用定义的,没定义就用ES预设的在查询时,会先去看字段有没有定义search_analyzer,如果没有定义,就去看有没有analyzer,再没有定义,才会去使用ES预设的""" DEFAULT_FIELD_MAPPING = {    "type": "text",    "analyzer": "ik_max_word",    # "analyzer": "ik_smart",    "search_analyzer": "ik_smart" }  class Elasticsearc7IkSearchBackend(Elasticsearch7SearchBackend):    def __init__(self, *args, **kwargs):        self.DEFAULT_SETTINGS['settings']['analysis']['analyzer']['ik_analyzer'] = {            "type": "custom",            "tokenizer": "ik_max_word",            # "tokenizer": "ik_smart",        }        super(Elasticsearc7IkSearchBackend, self).__init__(*args, **kwargs)  class Elasticsearch7IkSearchEngine(Elasticsearch7SearchEngine):    backend = Elasticsearc7IkSearchBackend

11.3 修改settings.py(切换成功)

# es 7.x配置HAYSTACK_CONNECTIONS = {    'default': {        # 'ENGINE': 'haystack.backends.elasticsearch7_backend.Elasticsearch7SearchEngine',        'ENGINE': 'app01.elasticsearch_ik_backend.Elasticsearch7IkSearchEngine',        'URL': 'http://127.0.0.1:9200/',        # elasticsearch建立的索引库的名称,一般使用项目名作为索引库        'INDEX_NAME': 'ha_drf',    },}

11.4 重建索引,同步数据

python manage.py rebuild_index

11.5 补充

11.5.1 未成功切换成ik

haystack 原先加载的是 ...\venv\Lib\site-packages\haystack\backends 文件夹下的 elasticsearch7_backend.py 文件,打开即可看到 elasticsearch7 引擎的默认配置 

若用上述方法建立出来的索引字段仍使用 snowball 分词器,则将原先elasticsearch7_backend.py 文件中的 DEFAULT_FIELD_MAPPING 也修改为 ik 分词器(或许是因为版本问题)

位置:D:\py_virtualenv\dj_ha\Lib\site-packages\haystack\backends\elasticsearch7_backend.py

修改内容:

DEFAULT_FIELD_MAPPING = {    "type": "text",    "analyzer": "ik_max_word",    "search_analyzer": "ik_smart",}

11.5.2 es6版本加入ik,重写引擎

from haystack.backends.elasticsearch_backend import ElasticsearchSearchBackendfrom haystack.backends.elasticsearch_backend import ElasticsearchSearchEngineclass IKSearchBackend(ElasticsearchSearchBackend):    DEFAULT_ANALYZER = "ik_max_word" # 这里将 es 的 默认 analyzer 设置为 ik_max_word     def __init__(self, connection_alias, **connection_options):        super().__init__(connection_alias, **connection_options)     def build_schema(self, fields):        content_field_name, mapping = super(IKSearchBackend, self).build_schema(fields)        for field_name, field_class in fields.items():            field_mapping = mapping[field_class.index_fieldname]            if field_mapping["type"] == "string" and field_class.indexed:                if not hasattr(                    field_class, "facet_for"                ) and not field_class.field_type in ("ngram", "edge_ngram"):                    field_mapping["analyzer"] = getattr(                        field_class, "analyzer", self.DEFAULT_ANALYZER                    )            mapping.update({field_class.index_fieldname: field_mapping})        return content_field_name, mapping  class IKSearchEngine(ElasticsearchSearchEngine):    backend = IKSearchBackend

来源地址:https://blog.csdn.net/qq_52385631/article/details/126551859

--结束END--

本文标题: django+drf_haystack+elasticsearch+ik+高亮显示

本文链接: https://lsjlt.com/news/397259.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • django+drf_haystack+elasticsearch+ik+高亮显示
    0.前提准备 环境 1. 准备好django2.22. 创建一个app3.elasticsearch7.5启动4.可视化工具(实在没有,也没啥)  models.py from django.db import models# Create...
    99+
    2023-09-06
    django python 后端
  • jQuery实现图片高亮显示
    图片高亮显示在页面中很常见,下面是用jquery实现图片高亮显示的效果 html代码部分 <body> <div> <img src=...
    99+
    2024-04-02
  • UltraEd PLSQL高亮显示的示例分析
    这篇文章主要介绍UltraEd PLSQL高亮显示的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!下面来说说配置的具体方法:打开“高级”-“配置”。“配置”窗口里点“编辑器显...
    99+
    2024-04-02
  • 如何使用Python VTK高亮显示actor
    前言: VTK,(visualizationtoolkit)是一个开放资源的免费软件系统,主要用于三维计算机图形学、图像处理和可视化。Vtk是在面向对象原理的基础上设计和实现的,它的...
    99+
    2024-04-02
  • 怎么使用Python VTK高亮显示actor
    今天小编给大家分享一下怎么使用Python VTK高亮显示actor的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。...
    99+
    2023-06-30
  • JQuery文本框高亮显示插件代码
    代码如下: jquery-highlight.js 复制代码 代码如下: (function($) { $.fn.highlight = function(options) { v...
    99+
    2022-11-21
    文本框 高亮显示
  • PyQt5 QListView 高亮显示某一条目的案例
    正在做的项目遇到的问题 , 在缩略图列表中选择某一图,同时关联到图片list里高亮显示这个图片名字。 一开始我直接用setCurrentIndex(int) 来设置 if msg...
    99+
    2024-04-02
  • linux下如何实现vim语法高亮显示
    这篇文章给大家分享的是有关linux下如何实现vim语法高亮显示的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。高亮标签 *tag-highlight* 如果你想高亮文件里的所有标签,可以使用如下映射。 <F...
    99+
    2023-06-13
  • VScode 中 Python 代码不高亮显示怎么办?
    最近在用 VScode 写代码的时候,发现 Python 代码不高亮显示: 这样用起来体验感不好,网上查询资料,可能存在的原因为: 安装Python扩展: 确保你已经安装了VS Code的Pytho...
    99+
    2023-10-23
    VScode 高亮 代码 Python Pylance 原力计划
  • echarts鼠标覆盖高亮显示节点的示例分析
    这篇文章主要为大家展示了“echarts鼠标覆盖高亮显示节点的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“echarts鼠标覆盖高亮显示节点的示例分析...
    99+
    2024-04-02
  • IntelliJ IDEA编辑器如何配置vue高亮显示
    这篇文章将为大家详细讲解有关IntelliJ IDEA编辑器如何配置vue高亮显示,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。1.查找IntelliJ IDEA是否已经...
    99+
    2024-04-02
  • Footerbar区域按钮的高亮显示怎么实现
    本篇内容主要讲解“Footerbar区域按钮的高亮显示怎么实现”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Footerbar区域按钮的高亮显示怎么实现”吧!还是借助Chrome Develop...
    99+
    2023-06-04
  • 详解让sublime text3支持Vue语法高亮显示的示例
    这篇文章给大家分享的是有关详解让sublime text3支持Vue语法高亮显示的示例的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。让sublime text3支持Vue语法高亮...
    99+
    2024-04-02
  • Android中怎么利用TextView显示部分文字高亮
    这篇文章将为大家详细讲解有关Android中怎么利用TextView显示部分文字高亮,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。Android  TextView中部分文字高亮显...
    99+
    2023-05-31
    android textview
  • wordpress博客搜索关键词高亮显示实现代码
    最近对wordpress的一些小改进很感兴趣,可以让你的博客更加个性,也更有趣味性,下面的代码可以在结果中高亮你所搜索的关键词。首先把第一段代码放在functions.php中: 复制代码代码如下: function h...
    99+
    2022-06-12
    搜索 关键词 高亮显示
  • three.js引入glsl文件并高亮显示代码的方法
    这篇文章主要讲解了“three.js引入glsl文件并高亮显示代码的方法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“three.js引入glsl文件并高亮显示代码的方法”吧!同一个js文件...
    99+
    2023-06-29
  • ABAP的语法高亮是怎么在浏览器里显示的
    本篇内容介绍了“ABAP的语法高亮是怎么在浏览器里显示的”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!在S/4HANA里,我们现在能在浏览器...
    99+
    2023-06-04
  • JavaScript如何实现关键字文本搜索高亮显示功能
    这篇文章将为大家详细讲解有关JavaScript如何实现关键字文本搜索高亮显示功能,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。具体如下:<!DOCTYPE&nbs...
    99+
    2024-04-02
  • three.js引入glsl文件并高亮显示代码的完整步骤
    目录同一个js文件中引入glslglsl文件与js文件分开高亮显示glsl代码总结同一个js文件中引入glsl 在three.js中自己写shader语言的时候,我们需要把glsl与...
    99+
    2024-04-02
  • Atom中怎么配置小程序文件让代码高亮显示
    这篇文章主要介绍Atom中怎么配置小程序文件让代码高亮显示,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!小程序相关的文件后缀名是 .wxml, .wxss, .wxs ,可是 Atom 编辑器默认不会自动识别这些类型...
    99+
    2023-06-15
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作