Wie Python ES betreibt und wie man Daten mit MySQL synchronisiert

Zwei Möglichkeiten, Elasticsearch mit Python zu betreiben

# 官方提供的：Elasticsearch
# pip install elasticsearch
# GUI：pyhon能做图形化界面编程吗？
	-Tkinter
  -pyqt
# 使用（查询是重点）
# pip3 install elasticsearch
https://github.com/elastic/elasticsearch-py
from elasticsearch import Elasticsearch
obj = Elasticsearch(['127.0.0.1:9200','192.168.1.1:9200','192.168.1.2:9200'],)
# 创建索引（Index）
# body:用来干什么？mapping：{},setting:{}
# result = obj.indices.create(index='user',ignore=400)
# print(result)
# 删除索引
# result = obj.indices.delete(index='user', ignore=[400, 404])
# 插入和查询数据（文档的增删查改），是最重要
# 插入数据
# POST news/politics/1
# {'userid': '1', 'username': 'lqz','password':'123'}
# data = {'userid': '1', 'username': 'lqz','password':'123'}
# result = obj.create(index='news', doc_type='politics', id=1, body=data)
# print(result)
# 更新数据
'''
不用doc包裹会报错
ActionRequestValidationException[Validation Failed: 1: script or doc is missing
'''
# data ={'doc':{'userid': '1', 'username': 'lqz','password':'123ee','test':'test'}}
# result = obj.update(index='news', doc_type='politics', body=data, id=1)
# print(result)
# 删除数据
# result = obj.delete(index='news', doc_type='politics', id=1)
# 查询
# 查找所有文档
# query = {'query': {'match_all': {}}}
#  查找名字叫做jack的所有文档
# query = {'query': {'match': {'desc': '娇憨可爱'}}}
# query = {'query': {'term': {'from': 'sheng'}}}
query = {'query': {'term': {'name': '娘子'}}}
# term和match的区别
# term是短语查询，不会对term的东西进行分词
# match 会多match的东西进行分词，再去查询
# 查找年龄大于11的所有文档
# allDoc = obj.search(index='lqz', doc_type='doc', body=query)
allDoc = obj.search(index='lqz', doc_type='doc', body=query)
print(allDoc)
import json
print(json.dumps(allDoc))
# print(allDoc['hits']['hits'][0]['_source'])
# 如何集成到django项目中：创建索引，提前创建好就行了
# 插入数据，查询数据，修改数据
# query = {'query': {'term': {'name': '娘子'}}}
# allDoc = obj.search(index='lqz', doc_type='doc', body=query)
# json格式直接返回
# saas ：软件即服务，不是用人家服务，而是写服务给别人用----》正常的开发
# 舆情监测系统：（爬虫）
# 只监控微博---》宜家：微博，百度贴吧，上市公司
# 公安：负面的，---》追踪到哪个用户发的---》找上门了
# qq群，微信群----》舆情监控（第三方做不了，腾讯出的舆情监控，第三方机构跟腾讯合作，腾讯提供接口，第三方公司做）
# 平台开发出来，别人买服务---》买一年的微博关键字监控

ERP: Unternehmensfinanzierung, Lieferkette

Ein großes Unternehmen, Kingdee, UFIDA, hat Software entwickelt----》Ihr Unternehmen kauft seinen eigenen Server---》Die Software läuft weiter Sie
Saas-Modus auf dem Server: Das Unternehmen kauft den Dienst und der Dienst dauert 10 Jahre ----》Kontopasswort ---》Melden Sie sich an und Sie können arbeiten ---》Wenn es ein Problem gibt, wenden Sie sich bitte an UFIDA---》Der Server ist bei jemand anderem---》 Cloud für Regierungsangelegenheiten, verschiedene Clouds---alle Dinge in der Cloud

---Dinge, für deren Kauf die Regierung Geld ausgibt---"Tut sich UF das zu? es auslaufen lassen?
---Zukünftiges Cloud Computing---》Kann nur auf das Internet zugreifen---》Die Rechenleistung des Computers ist begrenzt---》Dienste in der Cloud kaufen---》Computing 1+. . . +100 ---》Kaufen Sie den Computerdienst und erhalten Sie die Ergebnisse direkt

# 第二种使用方式
# https://github.com/elastic/elasticsearch-dsl-py
# pip3 install elasticsearch-dsl
from datetime import datetime
from elasticsearch_dsl import Document, Date, Nested, Boolean,analyzer, InnerDoc, Completion, Keyword, Text,Integer
from elasticsearch_dsl.connections import connections
connections.create_connection(hosts=["localhost"])
class Article(Document):
    title = Text(analyzer='ik_max_word', search_analyzer="ik_max_word", fields={'title': Keyword()})
    author = Text()
    class Index:
        name = 'myindex'  # 索引名
    def save(self, ** kwargs):
        return super(Article, self).save(** kwargs)
if __name__ == '__main__':
    # Article.init()  # 创建映射
    # 保存数据
    # article = Article()
    # article.title = "测试数据"
    # article.author = "egon"
    # article.save()  # 数据就保存了
    #查询数据
    # s=Article.search()
    # s = s.filter('match', title="测试")
    # results = s.execute()
    # # 类比queryset对象，列表中一个个对象
    # # es中叫Response，当成一个列表，列表中放一个个对象
    # print(results)
    #删除数据
    # s = Article.search()
    # s = s.filter('match', title="测试").delete()
    #修改数据
    s = Article().search()
    s = s.filter('match', title="测试")
    results = s.execute()
    print(results[0])
    results[0].title="xxx"
    results[0].save()
    # 其他操作，参见文档

Synchronisieren Sie Daten zwischen MySQL und Elasticsearch

# 只要article表插入一条数据，就自动同步到es中
# 第一种方案：
	-每当aritcle表插入一条数据（视图类中，Article.objects.create()，update）
  -往es中插入一条
  -缺陷：代码耦合度高，改好多地方
# 第二种方案：
	-重写create方法，重写update方法
  -缺陷：同步操作---》es中插入必须返回结果才能继续往下走
# 第三种方案：
	-用celery，做异步
  -缺陷：引入celery，还得有消息队列。。。
# 第四种方案：（用的最多）
	-重写create方法，重写update方法，用信号存入，异步操作
  -缺陷：有代码侵入
# 第五种方案：（项目不写代码，自动同步），第三方开源的插件
	-https://github.com/siddontang/go-mysql-elasticsearch----go写
  -你可以用python重写一个，放到git上给别人用（读了mysql的日志）
  -跟平台无关，跟语言无关
  -如何使用：
  	-源码下载---》交叉编译---》可执行文件--》运行起来--》配置文件配好，就完事了
    # 配置文件
    [[source]]
    schema = "数据库名"
    tables = ["article"]
    [[rule]]
    schema = "数据库名"
    table = "表明"
    index = "索引名"
    type = "类型名"
  # 缺陷：
  	-es跟mysql同步时，不希望把表所有字段都同步，mysql的多个表对着es的一个类型
  # 话术升级：
  	-一开始同步
    -用了开源插件（读取mysql日志，连接上es，进行同步）
    -用信号自己写的
    -再高端：仿着他的逻辑，用python自己写的，----》（把这个东西开源出来）

Verwendung von Haystack

• Ein Modul eines Drittanbieters auf Django ---》Das Django-Kapitel, das Sie haben Verwendet Welche Module von Drittanbietern gibt es?

• Kann eine Volltextsuche auf Django realisieren

• Äquivalent zu ORM –》Andocken von es, solr, whoosh

• https://www.yisu.com/article/218631.htm

• Unterstützt es nicht, Version 6 oder höher

Das obige ist der detaillierte Inhalt vonWie Python ES betreibt und wie man Daten mit MySQL synchronisiert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!