Python이 ES를 작동하는 방법과 Mysql과 데이터를 동기화하는 방법

Python으로 Elasticsearch를 운영하는 두 가지 방법

# 官方提供的：Elasticsearch
# pip install elasticsearch
# GUI：pyhon能做图形化界面编程吗？
	-Tkinter
  -pyqt
# 使用（查询是重点）
# pip3 install elasticsearch
https://github.com/elastic/elasticsearch-py
from elasticsearch import Elasticsearch
obj = Elasticsearch(['127.0.0.1:9200','192.168.1.1:9200','192.168.1.2:9200'],)
# 创建索引（Index）
# body:用来干什么？mapping：{},setting:{}
# result = obj.indices.create(index='user',ignore=400)
# print(result)
# 删除索引
# result = obj.indices.delete(index='user', ignore=[400, 404])
# 插入和查询数据（文档的增删查改），是最重要
# 插入数据
# POST news/politics/1
# {'userid': '1', 'username': 'lqz','password':'123'}
# data = {'userid': '1', 'username': 'lqz','password':'123'}
# result = obj.create(index='news', doc_type='politics', id=1, body=data)
# print(result)
# 更新数据
'''
不用doc包裹会报错
ActionRequestValidationException[Validation Failed: 1: script or doc is missing
'''
# data ={'doc':{'userid': '1', 'username': 'lqz','password':'123ee','test':'test'}}
# result = obj.update(index='news', doc_type='politics', body=data, id=1)
# print(result)
# 删除数据
# result = obj.delete(index='news', doc_type='politics', id=1)
# 查询
# 查找所有文档
# query = {'query': {'match_all': {}}}
#  查找名字叫做jack的所有文档
# query = {'query': {'match': {'desc': '娇憨可爱'}}}
# query = {'query': {'term': {'from': 'sheng'}}}
query = {'query': {'term': {'name': '娘子'}}}
# term和match的区别
# term是短语查询，不会对term的东西进行分词
# match 会多match的东西进行分词，再去查询
# 查找年龄大于11的所有文档
# allDoc = obj.search(index='lqz', doc_type='doc', body=query)
allDoc = obj.search(index='lqz', doc_type='doc', body=query)
print(allDoc)
import json
print(json.dumps(allDoc))
# print(allDoc['hits']['hits'][0]['_source'])
# 如何集成到django项目中：创建索引，提前创建好就行了
# 插入数据，查询数据，修改数据
# query = {'query': {'term': {'name': '娘子'}}}
# allDoc = obj.search(index='lqz', doc_type='doc', body=query)
# json格式直接返回
# saas ：软件即服务，不是用人家服务，而是写服务给别人用----》正常的开发
# 舆情监测系统：（爬虫）
# 只监控微博---》宜家：微博，百度贴吧，上市公司
# 公安：负面的，---》追踪到哪个用户发的---》找上门了
# qq群，微信群----》舆情监控（第三方做不了，腾讯出的舆情监控，第三方机构跟腾讯合作，腾讯提供接口，第三方公司做）
# 平台开发出来，别人买服务---》买一年的微博关键字监控

ERP: 기업 금융, 공급망

대기업 Kingdee, UFIDA에서 소프트웨어를 개발했습니다------>귀사는 자체 서버를 구매합니다--->소프트웨어는 다음에서 실행됩니다.
서버상의 saas 모드: 회사가 서비스를 구매하고, 서비스는 10년 동안 지속됩니다------》계정 비밀번호---》로그인 후 운영 가능합니다---》문제가 있는 경우 contact UFIDA---》서버가 다른 사람의 장소에 있습니다---》 정부 업무 클라우드, 다양한 클라우드---모든 것이 클라우드에 있습니다

---정부가 돈을 들여 구매하는 것---"UF는 감히 유출해?
---미래의 클라우드 컴퓨팅--->인터넷에만 액세스할 수 있습니다--->컴퓨터 컴퓨팅 성능은 제한되어 있습니다--->클라우드에서 서비스 구매--->컴퓨팅 1+. . . +100 ---》컴퓨팅 서비스를 구매하고 결과를 직접 확인

# 第二种使用方式
# https://github.com/elastic/elasticsearch-dsl-py
# pip3 install elasticsearch-dsl
from datetime import datetime
from elasticsearch_dsl import Document, Date, Nested, Boolean,analyzer, InnerDoc, Completion, Keyword, Text,Integer
from elasticsearch_dsl.connections import connections
connections.create_connection(hosts=["localhost"])
class Article(Document):
    title = Text(analyzer='ik_max_word', search_analyzer="ik_max_word", fields={'title': Keyword()})
    author = Text()
    class Index:
        name = 'myindex'  # 索引名
    def save(self, ** kwargs):
        return super(Article, self).save(** kwargs)
if __name__ == '__main__':
    # Article.init()  # 创建映射
    # 保存数据
    # article = Article()
    # article.title = "测试数据"
    # article.author = "egon"
    # article.save()  # 数据就保存了
    #查询数据
    # s=Article.search()
    # s = s.filter('match', title="测试")
    # results = s.execute()
    # # 类比queryset对象，列表中一个个对象
    # # es中叫Response，当成一个列表，列表中放一个个对象
    # print(results)
    #删除数据
    # s = Article.search()
    # s = s.filter('match', title="测试").delete()
    #修改数据
    s = Article().search()
    s = s.filter('match', title="测试")
    results = s.execute()
    print(results[0])
    results[0].title="xxx"
    results[0].save()
    # 其他操作，参见文档

mysql과 Elasticsearch 간의 데이터 동기화

# 只要article表插入一条数据，就自动同步到es中
# 第一种方案：
	-每当aritcle表插入一条数据（视图类中，Article.objects.create()，update）
  -往es中插入一条
  -缺陷：代码耦合度高，改好多地方
# 第二种方案：
	-重写create方法，重写update方法
  -缺陷：同步操作---》es中插入必须返回结果才能继续往下走
# 第三种方案：
	-用celery，做异步
  -缺陷：引入celery，还得有消息队列。。。
# 第四种方案：（用的最多）
	-重写create方法，重写update方法，用信号存入，异步操作
  -缺陷：有代码侵入
# 第五种方案：（项目不写代码，自动同步），第三方开源的插件
	-https://github.com/siddontang/go-mysql-elasticsearch----go写
  -你可以用python重写一个，放到git上给别人用（读了mysql的日志）
  -跟平台无关，跟语言无关
  -如何使用：
  	-源码下载---》交叉编译---》可执行文件--》运行起来--》配置文件配好，就完事了
    # 配置文件
    [[source]]
    schema = "数据库名"
    tables = ["article"]
    [[rule]]
    schema = "数据库名"
    table = "表明"
    index = "索引名"
    type = "类型名"
  # 缺陷：
  	-es跟mysql同步时，不希望把表所有字段都同步，mysql的多个表对着es的一个类型
  # 话术升级：
  	-一开始同步
    -用了开源插件（读取mysql日志，连接上es，进行同步）
    -用信号自己写的
    -再高端：仿着他的逻辑，用python自己写的，----》（把这个东西开源出来）

haystack 사용

• django의 타사 모듈 ---》당신이 가지고 있는 django 장 중고 타사 모듈이란 무엇입니까?

• django에서 전체 텍스트 검색 가능

• ORM과 동일--》Docking es, solr, whoosh

• https://www.yisu.com/article/218631.htm

• es, 버전 6 이상을 지원하지 않습니다

• haystack+Elasticsearch는 전체 텍스트 검색을 실현합니다

• es 기본 작업: Elasticsearch Elasticsearch-dsl

Redis 보충

#1  只有5种数据结构：
	-多种数据结构：字符串，hash，列表，集合，有序集合
#2  单线程，速度为什么这么快？
  -本质还是因为是内存数据库
  -epoll模型（io多路复用）
  -单线程，没有线程，进程间的通信
#3 linux上 安装redis#下载
  https://redis.io/download/
  #解压
  tar -xzf redis-5.0.7.tar.gz
  #建立软连接
  ln -s redis-5.0.7 redis
  cd redis
  make&&make install
  # bin路径下几个命令：redis-cli,redis-server,redis-sentinel
  # 在任意位置能够执行redis-server 如何做？配置环境变量
#4  启动redis的三种方式
  	-方式一：(一般不用，没有配置文件)
    	-redis-server
    -方式二：（用的也很少）
    	redis-serve --port 6380
    -方式三：（都用这种，配置文件）
    	daemonize yes #是否以守护进程启动
      pidfile /var/run/redis.pid   #进程号的位置，删除
      port 6379    #端口号
      dir "/opt/soft/redis/data"  #工作目录
      logfile 6379.log #日志位置  
      # 启动：redis-server redis.conf1
#5 客户端连接
  redis-cli -h 127.0.0.1 -p 6379
#6 使用场景
  -看md文档

위 내용은 Python이 ES를 작동하는 방법과 Mysql과 데이터를 동기화하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!