Python 官方文档:入门教程 => 点击学习
0.前提准备 环境 1. 准备好Django2.22. 创建一个app3.elasticsearch7.5启动4.可视化工具(实在没有,也没啥) models.py from djanGo.db import models# Create
1. 准备好Django2.22. 创建一个app3.elasticsearch7.5启动4.可视化工具(实在没有,也没啥)
from djanGo.db import models# Create your models here.class Article(models.Model): title = models.CharField(verbose_name='文章标题', max_length=225, db_index=True) content = models.TextField(verbose_name='内容') # 外键 tag = models.ForeignKey(verbose_name='标签', to='Tag', on_delete=models.DO_NOTHING) def __str__(self): return self.titleclass Tag(models.Model): name = models.CharField(verbose_name='标签', max_length=225) def __str__(self): return self.name
pip3 install jieba -i https://pypi.douban.com/simple/ pip3 install django-haystack -i Https://pypi.douban.com/simple/pip3 install drf-haystack -i https://pypi.douban.com/simple/pip3 install elasticsearch==7.6.0 -i https://pypi.douban.com/simple/pip3 install django==2.2 -i https://pypi.douban.com/simple/
es其他版本配置
Haystack 入门 — Haystack 2.5.0 文档 (django-haystack.readthedocs.io)https://django-haystack.readthedocs.io/en/master/tutorial.html
# 注册INSTALLED_APPS = [ ... 'haystack', 'rest_framework', ...]# 配置7.xHAYSTACK_CONNECTIONS = { 'default': { 'ENGINE': 'haystack.backends.elasticsearch7_backend.Elasticsearch7SearchEngine', 'URL': 'http://127.0.0.1:9200/', 'INDEX_NAME': 'haystack', },}
app01/templates/search/indexes/app01/article_text.txt
indexes:是你要建立的索引的app,article是你要建立索引的那个模型名(小写)
给这几个字段建立索引,用作全文检索
{{ object.tile}}{{ object.tag.name}}{{ object.content }}
search_indexes.py固定写法,必须叫这个名字
位置:在自己的app下创建即可
索引模型类的名称必须是 模型类名称 + Index
from haystack import indexesfrom .models import Article# 必须继承 indexes.SearchIndex, indexes.Indexable# ArticleIndex是固定格式命名,Article是你models.py中的类名class ArticleIndex(indexes.SearchIndex, indexes.Indexable): # document=True:将为text字段内容建立索引,此字段内容,可以由多个字段内容联合而成,有且只有一个 # use_template=True决定建立索引的字段内容,可以自定义模板 text = indexes.CharField(document=True, use_template=True) # 下面的就是和你model里面的一样了 # python manage.py rebuild_index # model_attr指定为对应模型的哪个字段 # 以下字段作为辅助字段,我也不知道辅助什么 id = indexes.IntegerField(model_attr='id') title = indexes.CharField(model_attr='title') tag = indexes.CharField(model_attr='tag') # 必须这个写,返回的就是你的model名称 def get_model(self): """返回建立索引的模型类""" # 每次查询都走这个 return Article # 返回你的查询的结果,可以改成一定的条件的,但是格式就是这样 def index_queryset(self, using=None): """返回要建立索引的数据查询集""" # 写入es的数据 query_set = self.get_model().objects.all() return query_set
from haystack.utils import Highlighterfrom rest_framework import serializersfrom drf_haystack.serializers import HaystackSerializer, HighlighterMixinfrom .search_indexes import *class ArticleSerializer(serializers.ModelSerializer): """ 序列化器 """ tag = serializers.CharField(source='tag.name') class Meta: model = Article # 返回除了搜索字段外的所需要的其他字段数据, 可以将所有需要返回的字段数据写上,便于提取 fields = ('id', 'title', 'tag', 'content')# 写法一:普通序列化,使用内置的高亮class ArticleIndexSerializer(HaystackSerializer): """ SKU索引结果数据序列化器 """ # 变量名称必须为 object 否则无法返回 # 变量名称必须为 object 否则无法返回, # 返回除搜索字段以外的字段,由上面ArticleSerializer自定义返回字段 object = ArticleSerializer(read_only=True) # 只读,不可以进行反序列化 class Meta: index_classes = [ArticleIndex] # 索引类的名称,可以有多个 # text 由索引类进行返回, object 由序列化类进行返回,第一个参数必须是text # 返回字段,不写默认全部返回 # text字段必须有,不然无法实现搜索 # 控制的是建立的索引字段 fields = ['text', object] # fields = ['text'] # 忽略字段 # ignore_fields = ['title'] # 除了该字段,其他的都返回, # exclude = ['title']'''# 写法二:自定义高亮,比内置的要慢一点class ArticleIndexSerializer(HighlighterMixin, HaystackSerializer): """ SKU索引结果数据序列化器 """ # 变量名称必须为 object 否则无法返回, # 返回除搜索字段以外的字段,由上面ArticleSerializer自定义返回字段 object = ArticleSerializer(read_only=True) # 只读,不可以进行反序列化 # 高亮显示字段配置 # highlighter_class = Highlighter # 前端自定义CSS名称 highlighter_css_class = "my-highlighter-class" # html highlighter_html_tag = "em" # 最宽 highlighter_max_length = 200 class Meta: index_classes = [ArticleIndex] # 索引类的名称,可以有多个 fields = ['text', object]'''
from django.shortcuts import HttpResponsefrom drf_haystack.viewsets import HaystackViewSetfrom drf_haystack.filters import HaystackOrderingFilter, HaystackHighlightFilterfrom .models import *from .paginations import ArticleSearchPageNumberPaginationfrom .serializers import ArticleIndexSerializerclass ArticleSearchViewSet(HaystackViewSet): """ 文章搜索 """ index_models = [Article] # 表模型,可以添加多个 serializer_class = ArticleIndexSerializer pagination_class = ArticleSearchPageNumberPagination # 高亮,排序 # HaystackOrderingFilter:排序, # HaystackHighlightFilter:内置高亮,如果使用了方式自定义高亮,就不要配置这个了 filter_backends = [HaystackOrderingFilter, HaystackHighlightFilter] ordering_fields = ('id',) """ """ # 重写,自己可以构造数据 def list(self, request, *args, **kwargs): response = super(ArticleSearchViewSet, self).list(request, *args, **kwargs) data = response.data # 本文修改返回数据,把返回的索引字段去掉,您可以根据自己的需求,把这一句注释掉 [item.pop('text') for item in data['results']] return response
from django.contrib import adminfrom django.urls import path, re_pathfrom app01 import views# 路由方式一,首页即可看到数据# http://127.0.0.1:8000/search/?text=中国&ordering=id# http://127.0.0.1:8000/search/?text=中国from rest_framework.routers import SimpleRouterrouter = SimpleRouter()router.reGISter('search', views.ArticleSearchViewSet, basename='search_api')# router.register("", views.ArticleAPIView)urlpatterns = [ # re_path(r'^$', views.ArticleSearchViewSet.as_view({'get': 'list'})), path('admin/', admin.site.urls), path('update/', views.update)]urlpatterns += router.urls# 路由方式二,大黄页"""# http://127.0.0.1:8000/search/?text=中国&ordering=id# http://127.0.0.1:8000/search/?text=中国urlpatterns = [ path('admin/', admin.site.urls), re_path(r'search_one/(?P\d+)/', views.ArticleSearchViewSet.as_view({'get': 'retrieve'})), path('search/', views.ArticleSearchViewSet.as_view({'get': 'list'})),]"""
from rest_framework.pagination import PageNumberPaginationclass ArticleSearchPageNumberPagination(PageNumberPagination): """文章搜索分页器""" # 每页显示几条 page_size = 10 # 最大数量 max_page_size = 5000 # 前端自定义查询的数量,?size=10 page_size_query_param = "size" # 查询参数 page_query_param = "page"
Python manage.py makemigrationspython manage.py migrate# 重新创建索引,删掉之前的,进行数据同步python manage.py rebuild_index
直接修改Mysql数据库数据,查看查询的数据会不会改变,不改就是es,改了就是mysql
基于Docker安装Elasticsearch+ElasticSearch-Head+IK分词器_骑台风走的博客-CSDN博客基于docker安装Elasticsearch+ElasticSearch-Head+IK分词器https://blog.csdn.net/qq_52385631/article/details/126567059?spm=1001.2014.3001.5501ES--IK分词器安装_骑台风走的博客-CSDN博客ik_max_Word: 会将文本做最细粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”,会穷尽各种可能的组合,适合 Term Query;ik_smart: 会做最粗粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”,适合 Phrase 查询。......https://blog.csdn.net/qq_52385631/article/details/126392092?spm=1001.2014.3001.5501
在 blog应用下新建名为 elasticsearch7_ik_backend.py 的文件,
继承 Elasticsearch7SearchBackend(后端) 和 Elasticsearch7SearchEngine(搜索引擎) 并重写建立索引时的分词器设置
from haystack.backends.elasticsearch7_backend import Elasticsearch7SearchBackend, Elasticsearch7SearchEngine """分析器主要有两种情况会被使用:第一种是插入文档时,将text类型的字段做分词然后插入倒排索引,第二种就是在查询时,先对要查询的text类型的输入做分词,再去倒排索引搜索如果想要让 索引 和 查询 时使用不同的分词器,ElasticSearch也是能支持的,只需要在字段上加上search_analyzer参数在索引时,只会去看字段有没有定义analyzer,有定义的话就用定义的,没定义就用ES预设的在查询时,会先去看字段有没有定义search_analyzer,如果没有定义,就去看有没有analyzer,再没有定义,才会去使用ES预设的""" DEFAULT_FIELD_MAPPING = { "type": "text", "analyzer": "ik_max_word", # "analyzer": "ik_smart", "search_analyzer": "ik_smart" } class Elasticsearc7IkSearchBackend(Elasticsearch7SearchBackend): def __init__(self, *args, **kwargs): self.DEFAULT_SETTINGS['settings']['analysis']['analyzer']['ik_analyzer'] = { "type": "custom", "tokenizer": "ik_max_word", # "tokenizer": "ik_smart", } super(Elasticsearc7IkSearchBackend, self).__init__(*args, **kwargs) class Elasticsearch7IkSearchEngine(Elasticsearch7SearchEngine): backend = Elasticsearc7IkSearchBackend
# es 7.x配置HAYSTACK_CONNECTIONS = { 'default': { # 'ENGINE': 'haystack.backends.elasticsearch7_backend.Elasticsearch7SearchEngine', 'ENGINE': 'app01.elasticsearch_ik_backend.Elasticsearch7IkSearchEngine', 'URL': 'http://127.0.0.1:9200/', # elasticsearch建立的索引库的名称,一般使用项目名作为索引库 'INDEX_NAME': 'ha_drf', },}
python manage.py rebuild_index
haystack 原先加载的是 ...\venv\Lib\site-packages\haystack\backends 文件夹下的 elasticsearch7_backend.py 文件,打开即可看到 elasticsearch7 引擎的默认配置
若用上述方法建立出来的索引字段仍使用 snowball 分词器,则将原先elasticsearch7_backend.py 文件中的 DEFAULT_FIELD_MAPPING 也修改为 ik 分词器(或许是因为版本问题)
位置:D:\py_virtualenv\dj_ha\Lib\site-packages\haystack\backends\elasticsearch7_backend.py
修改内容:
DEFAULT_FIELD_MAPPING = { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "ik_smart",}
from haystack.backends.elasticsearch_backend import ElasticsearchSearchBackendfrom haystack.backends.elasticsearch_backend import ElasticsearchSearchEngineclass IKSearchBackend(ElasticsearchSearchBackend): DEFAULT_ANALYZER = "ik_max_word" # 这里将 es 的 默认 analyzer 设置为 ik_max_word def __init__(self, connection_alias, **connection_options): super().__init__(connection_alias, **connection_options) def build_schema(self, fields): content_field_name, mapping = super(IKSearchBackend, self).build_schema(fields) for field_name, field_class in fields.items(): field_mapping = mapping[field_class.index_fieldname] if field_mapping["type"] == "string" and field_class.indexed: if not hasattr( field_class, "facet_for" ) and not field_class.field_type in ("ngram", "edge_ngram"): field_mapping["analyzer"] = getattr( field_class, "analyzer", self.DEFAULT_ANALYZER ) mapping.update({field_class.index_fieldname: field_mapping}) return content_field_name, mapping class IKSearchEngine(ElasticsearchSearchEngine): backend = IKSearchBackend
来源地址:https://blog.csdn.net/qq_52385631/article/details/126551859
--结束END--
本文标题: django+drf_haystack+elasticsearch+ik+高亮显示
本文链接: https://lsjlt.com/news/397259.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0