Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?

Carian Produk

Semua orang sepatutnya telah mencari produk di pelbagai tapak web e-dagang Bagaimana anda biasanya mencari produk? Enjin carian Elasticsearch.

Kemudian soalan muncul apabila produk diletakkan di rak, data secara amnya ditulis ke dalam pangkalan data MySQL. Jadi, bagaimanakah data yang digunakan untuk mendapatkan semula disegerakkan ke Elasticsearch?

Penyegerakan MySQL ES

1 Tulis dua kali segerak

Ini adalah cara paling langsung yang boleh dibayangkan, apabila menulis ke MySQL, Secara langsung dan tulis salinan data secara serentak ke ES.

Tulisan dwi segerak

Untuk kaedah ini:

Kelebihan: Pelaksanaan yang mudah

Kelemahan:

• Gandingan perniagaan, menggandingkan sejumlah besar kod penyegerakan data dalam pengurusan produk

• menjejaskan prestasi, menulis kepada dua storan dan masa tindak balas menjadi lebih lama

• Menyusahkan untuk dikembangkan: Carian mungkin mempunyai beberapa keperluan yang diperibadikan, yang memerlukan pengagregatan data Kaedah ini menyusahkan untuk dilaksanakan

2

Kami juga mudah memikirkan tulisan berganda tak segerak Apabila menyenaraikan produk, kami mula-mula membuang data produk ke dalam MQ Untuk memahami gandingan, kami biasanya memisahkan perkhidmatan carian dan perkhidmatan carian melanggan berita perubahan produk untuk menyelesaikan penyegerakan.

Tulisan berganda tak segerak

Seperti yang dinyatakan sebelum ini, apakah yang perlu saya lakukan jika sesetengah data perlu diagregatkan ke dalam struktur yang serupa dengan jadual lebar? Sebagai contoh, kategori produk, spu dan jadual sku pustaka produk dipisahkan, tetapi pertanyaan adalah merentas dimensi Ia akan menjadi kurang cekap untuk mengagregatkannya semula dalam ES Adalah lebih baik untuk mengagregatkan data produk dan menggunakannya dalam ES dengan cara yang sama Ia disimpan dalam bentuk jadual lebar, supaya kecekapan pertanyaan lebih tinggi.

Pertanyaan berbilang dimensi dan berbilang syarat

Sebenarnya tiada cara yang baik untuk melakukan ini Pada asasnya, anda masih perlu mencari perkhidmatan untuk menyemak pangkalan data secara terus, atau memanggilnya dari jauh dan tanya pangkalan data produk sekali lagi, yang dipanggil semakan balik.

Semak untuk melengkapkan pengagregatan

Cara ini:

Kelebihan:

• Gandingan Penyelesaian , barangan dan perkhidmatan tidak perlu memberi perhatian kepada penyegerakan data

• Prestasi masa nyata yang baik, menggunakan MQ, dalam keadaan biasa, penyegerakan selesai dalam beberapa saat

Kelemahan :

• Memperkenalkan komponen dan perkhidmatan baharu, meningkatkan kerumitan

3 kita mahu Cepat semak, jumlah data tidak begitu besar, apa yang perlu saya lakukan? Tugas berjadual juga tersedia.

Tugas berjadual

Perkara yang paling menyusahkan tentang tugasan berjadual ialah kekerapannya sukar untuk dipilih Jika kekerapannya tinggi, ia akan membentuk perniagaan secara luar biasa puncak, mengakibatkan penggunaan storan CPU dan memori meningkat dalam kemuncak Jika frekuensi rendah, prestasi masa nyata adalah lemah, dan terdapat juga puncak.

Kaedah ini:

Kebaikan: pelaksanaan yang agak mudah

Kelemahan:

Prestasi masa nyata sukar untuk dijamin
Memberi tekanan hebat pada storan
4. Langganan data

Terdapat cara lain, iaitu langganan data yang paling popular.

MySQL mencapai penyegerakan induk-hamba melalui langganan binlog Pelbagai rangka kerja langganan data seperti terusan menggunakan prinsip ini untuk menyamar komponen klien sebagai perpustakaan hamba untuk melaksanakan langganan data.

Penyegerakan master-slave MySQL

Mari kita ambil terusan yang paling banyak digunakan sebagai contoh yang menyokong pelbagai penyesuai melalui

, termasuk ES Selepas penyesuai dimulakan dengan beberapa konfigurasi, ia boleh terus menyegerakkan data MySQL ke ES Proses ini adalah kod sifar.

canal-adapter

data penyegerakan terusan

Walaupun kami mengikut cadangan bos dan menggunakan terusan untuk kerja penyegerakan, kami sebenarnya masih perlu menulis kod. kenapa?

Disebabkan sokongan saluran yang terhad, pengagregatan data berbilang jadual yang dinyatakan di atas masih perlu dilaksanakan melalui semakan. Pada masa ini, adalah tidak sesuai untuk menggunakan penyesuai saluran Anda perlu melaksanakan pelanggan terusan sendiri, memantau dan mengagregat data dan menulis kepada ES:

Langganan data. + ulasan

Ini kelihatan serupa dengan penulisan berganda tak segerak, tetapi pertama sekali ia mengurangkan gandingan produk dan perkhidmatan, dan kedua sifat masa nyata data adalah lebih baik.

Jadi gunakan langganan data:

Kelebihan:

Kurang pencerobohan perniagaan
Lebih masa nyata Baik

Bagi pemilihan rangka kerja langganan data, yang arus perdana secara amnya adalah seperti berikut:

	Cancal	Maxwell	Python-Mysql-Rplication
开源方	阿里巴巴	Zendesk	社区
开发语言	Java	Java	Python
活跃度	活跃	活跃	活跃
高可用	支持	支持	不支持
客户端	Java/Go/PHP/Python/Rust	无	Python
消息落地	Kafka/RocketMQ 等	Kafka/RabbitNQ/Redis 等	自定义
消息格式	自定义	JSON	自定义
文档详略	详细	详细	详细
Boostrap	不支持	支持	不支持

MySQL menyegerakkan ke stor data lain, seperti HBase, pada asasnya menggunakan kaedah yang serupa Beberapa kaedah.

Atas ialah kandungan terperinci Apakah penyelesaian untuk penyegerakan data MySQL dengan Elasticsearch?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!