Elasticsearch와 MySQL 데이터 동기화를 위한 솔루션은 무엇입니까?

상품 검색

각종 전자상거래 사이트에서 상품을 검색해 보셨을텐데요, 평소 어떤 방법으로 상품을 검색하시나요? 검색 엔진 Elasticsearch.

그러면 질문이 생깁니다. 제품이 진열되면 일반적으로 데이터가 MySQL 데이터베이스에 기록됩니다. 그러면 검색에 사용되는 데이터는 어떻게 Elasticsearch에 동기화됩니까?

MySQL은 ES를 동기화합니다

1. 동기식 이중 쓰기

이것은 MySQL에 쓸 때 동시에 ES에 직접 기록되는 방식입니다.

동기 이중 쓰기

이 방법의 경우:

장점: 간단한 구현

단점:

• 비즈니스 결합, 상품 관리에서 대량의 데이터 동기화 코드 결합

• 성능에 영향 , 쓰기 저장소가 2개이면 응답 시간이 길어집니다

• 확장 불편: 검색에는 데이터 집계가 필요한 일부 개인화된 요구 사항이 있을 수 있으며, 이는 구현하기 불편합니다

2. 비동기 이중 쓰기

할 수 있습니다. 또한 쉽게 생각할 수 있는 비동기식 이중 작성 방식에서는 상품을 나열할 때 먼저 상품 데이터를 MQ에 입력합니다. 결합을 이해하기 위해 일반적으로 검색 서비스를 분할하고 검색 서비스는 상품 뉴스를 구독합니다. 동기화를 완료하도록 변경됩니다.

비동기 이중 쓰기

앞서 언급했듯이 일부 데이터를 와이드 테이블과 유사한 구조로 집계해야 하는 경우 어떻게 해야 하나요? 예를 들어 제품 라이브러리의 제품 카테고리, spu, sku 테이블은 분리되어 있지만 쿼리는 교차 차원이므로 ES에서 다시 집계하여 사용하는 것이 가장 좋습니다. ES에서도 비슷한 방식으로 넓은 테이블 형태로 저장되므로 쿼리 효율이 더 높다.

다차원 및 다중 조건 쿼리

실제로는 좋은 방법이 없습니다. 기본적으로 서비스를 검색하여 데이터베이스를 직접 확인하거나 원격으로 호출한 후 다시 제품 데이터베이스를 쿼리해야 합니다. 이른바 백체크다.

검토하여 집계 완료

이 방법:

장점:

• 분리, 제품 및 서비스는 데이터 동기화에 주의할 필요가 없습니다.

• MQ를 사용하여 우수한 실시간 성능 정상적인 상황에서는 두 번째 수준에서 동기화가 완료됩니다

단점:

• 새로운 구성 요소와 서비스를 도입하여 복잡성이 증가합니다

3. 예약된 작업

빠르게 수행하려면 데이터가 그렇게 크지 않은데 어떻게 해야 하나요? 예약된 작업도 사용할 수 있습니다.

예약된 작업

예약된 작업에서 가장 고민스러운 점은 빈도를 선택하기 어렵다는 것입니다. 빈도가 높으면 부자연스럽게 비즈니스 피크가 형성되어 스토리지 CPU 및 메모리 사용량이 피크로 증가하게 됩니다. 빈도가 낮으면 실시간으로 증가하게 되며, 성별이 상대적으로 좋지 않고 정점도 있습니다.

이 방법:

장점: 비교적 구현이 간단함

단점:

• 실시간 성능을 보장하기 어렵습니다.

• 저장 공간에 대한 부담이 더 높습니다

4. 데이터 구독이 가능합니다. , 즉 가장 인기 있는 데이터 구독입니다.

MySQL은 binlog 구독을 통해 마스터-슬레이브 동기화를 달성합니다. canal과 같은 다양한 데이터 구독 프레임워크는 이 원칙을 사용하여 클라이언트 구성 요소를 슬레이브 라이브러리로 위장하여 데이터 구독을 구현합니다.

MySQL 마스터-슬레이브 동기화

가장 널리 사용되는 canal을 예로 들어보겠습니다. canal은 ES 어댑터를 포함하여

를 통해 다양한 어댑터를 지원하며, 시작 후 MySQL 데이터를 직접 동기화할 수 있습니다. ES를 사용하면 이 프로세스가 제로 코드입니다.

canal-adapter

운하 동기화 데이터

사장의 조언을 따르고 운하를 동기화 작업에 사용하지만 실제로는 여전히 코드를 작성해야 합니다. 왜?

Canal의 제한된 지원으로 인해 위에서 언급한 여러 테이블의 데이터 집계는 여전히 검토를 통해 구현되어야 합니다. 현재 canal-adapter를 사용하는 것은 적절하지 않습니다. canal-client를 직접 구현하고, 데이터를 모니터링하고 집계하고, ES에 작성해야 합니다.

데이터 구독 + 리뷰

이는 비동기 이중에 더 가깝습니다. 하지만 첫째, 상품과 서비스의 결합을 줄이고, 둘째, 데이터의 실시간 특성이 더 좋습니다.

따라서 데이터 구독을 사용하세요:

이점:

비즈니스 침해 감소
실시간 성능 향상

데이터 구독 프레임워크 선택과 관련하여 주류 프레임워크는 일반적으로 다음과 같습니다.

	Cancal	Maxwell	Python-Mysql-Rplication
오픈 소스	알리바바	Zendesk	Community
개발 언어	Java	Java	Python
Activity	Active	Active	Active
고가용성	지원	지원	지원되지 않음
Client	Java/Go/PHP/Python/Rust	None	Python
메시지 랜딩	Kafka/RocketMQ 등	Kafka/RabbitNQ/Redis 등	커스텀
메시지 형식	맞춤형	JSON	맞춤형
문서 상세	상세	상세	상세
Boostrap	지원되지 않음	지원됨	지원되지 않음

MySQL 동기화 기본적으로 유사한 방법을 사용하여 HBase와 같은 다른 데이터 저장소에 저장합니다.

위 내용은 Elasticsearch와 MySQL 데이터 동기화를 위한 솔루션은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!