この記事では、MySQL の読み取りと書き込みの分離に関する関連知識を紹介します。お役に立てば幸いです。

Mycat の MySQL クラスターの読み取りと書き込みの分離の実装について話しましょう

MySQL の読み取りと書き込みの分離の概要

MySQL は現在、世界で最も広く使用されている無料のデータベースです。システム運用に携わるすべての人 Weiwei のすべてのエンジニアがシステムに触れているはずです。
実際の運用環境では、独立したデータベースとしての単一の MySQL は、セキュリティ、高可用性、高同時実行性などの観点から見て、実際のニーズをまったく満たすことができません。
したがって、一般的に言えば、データは マスター/スレーブレプリケーション を通じて同期され、その後 読み取りの分離を通じて同期されます。データベースの同時負荷容量を向上させるための書き込み (MySQL-Proxy/Amoeba) #デプロイと実装。

#読み取りと書き込みの分離の動作原理

メインデータベースは、トランザクションの追加、変更、削除操作 (INSERT、UPDATE、DELETE) を処理します。
データベースからの SELECT クエリ操作の処理

##読み取りと書き込みを分離する理由

アクセス圧力の増大に直面して、単一サーバーのパフォーマンスがボトルネックになり、負荷を分散する必要がある

マスターとスレーブは、自身の書き込みとスレーブに対してのみ責任を負います。 X (書き込み) ロックと S (読み取り) ロックの競合を大幅に軽減します
##myisam エンジンをライブラリから設定して、クエリのパフォーマンスを向上させ、システムオーバーヘッドを節約できます
冗長性を高め、可用性を向上させる
読み取りと書き込みの分離を実現する方法

一般に、これを実現するには 2 つの方法があります#アプリケーション層の実装、Web サイトプログラムの実装

アプリケーション層の実装とは、アプリケーション内およびコネクタ内での読み取りと書き込みの分離を指します

利点:

アプリケーションは内部で読み取りと書き込みの分離を実装しており、インストール中に使用できます
導入の特定の困難を軽減します
アクセスプレッシャーは以下になります一定のレベルに到達すると、パフォーマンスは非常に優れています。
欠点:
アーキテクチャを調整したら、コードを次のように調整する必要があります。
#自動データベースシャーディングやテーブルシャーディングなどの高度なアプリケーションを実装するのは困難です
大規模なアプリケーションシナリオには適用できません
ミドルウェア層の実装:

##ミドルウェア層の実装とは、外部ミドルウェアプログラムでの読み取りと書き込みの分離を指します一般的なミドルウェアプログラム

Cobar：

Alibaba B2B によって開発されたリレーショナル分散システムで、3,000 近くの MySQL インスタンスを管理します。アリババでのテストに耐えましたが、その後、著者の退職により cobar は保守されなくなりましたが、アリババは cobar に代わる tddl も開発しました。

MyCAT:
コミュニティの愛好家が Ali cobar をベースに二次開発を行い、当時 cobar が抱えていたいくつかの問題を解決し、参加しました。多くの新機能が含まれています。現在、MyCAT コミュニティは非常に活発で、すでに MyCAT を使用している企業もあります。一般的に、サポートは
よりも高く、引き続き維持されます。
OneProxy:
データベース業界の偉人、元 Alipay データベースチームリーダーが、mysql 公式プロキシのアイデアに基づいて開発を構築しています。 c 開発用はい、OneProxy は商用で有料のミドルウェアですが、Lou はいくつかの機能点を省略し、パフォーマンスと安定性に焦点を当てました。誰かが
# をテストして、高い同時実行下でも非常に安定していると言いました。
Vitess:
このミドルウェアは Youtube 制作で使用されていますが、アーキテクチャは非常に複雑です。これまでのミドルウェアと異なり、Vitess を使用したアプリケーションの変更は比較的大きく、彼が提供する言語の API インターフェイスを使用するには、彼の設計上のアイデアのいくつかを学ぶことができます。
キングシャード：
Kingshard は、360Atlas ミドルウェア開発チームの元メンバーである Chen Fei によって、暇なときに go 言語を使用して開発されました。現在、開発には約 3 人が携わっています。使用できるほど成熟した製品ではないため、継続的に改善する必要があります。
Atlas：
360 チームは、mysql プロキシに基づいて lua を C で書き直しました。オリジナルのバージョンはテーブルのシャーディングをサポートしており、シャードされたデータベースとテーブルのバージョンがリリースされました。インターネット上の友人が「同時実行性が高いと頻繁にハングする。使用したい場合は事前にテストする必要がある」と言っているのを見かけました。
MaxScale と MySQL ルート:
これら 2 つのミドルウェアは公式とみなされ、MaxScale は mariadb (MySQL のオリジナルの作成者) によって管理されているバージョンです。、現在のバージョンはサブデータベースとテーブルをサポートしていません。 MySQL Route は、MySQL 公認の Oracle 社が現在リリースしているミドルウェアです。
利点:
アーキテクチャ設計はより柔軟です
いくつかの高度な制御を実現できます。透過的な水平分割、フェイルオーバー、監視などのプログラムは、mysql のパフォーマンスを向上させるための技術的手段に依存できます。ビジネスコードへの影響はほとんどなく、安全でもあります。
欠点:
特定の開発および運用チームのサポートが必要です。

#MyCAT とは

完全にオープンソースのエンタープライズ向けアプリケーション開発された大規模データベースクラスター
は、トランザクション、ACID、および MySQL を置き換えることができるデータベースの拡張バージョンをサポートします
エンタープライズレベルMySQL クラスターとみなせるデータベース高価な Oracle クラスターの置き換えに使用されるデータベース
##斬新なデータベースミドルウェア製品

##MyCat サービスのインストールと構成

MyCat は、Windows、Linux をサポートするコンパイル済みインストールパッケージを提供します、Mac、Solaris、その他のシステム

公式ダウンロードホームページ http://www.mycat.org.cn/
にインストールして実行します。

実験アーキテクチャ:

192.168.2.2 Mycat CentOS 8.3.2011

192.168.2.3 メインサーバー CentOS 7.6
192.168.2.5 スレーブサーバー CentOS 7.6
Mycat の実行には JDK 1.7 以降が必要です

#Mycat をダウンロード

wget http://dl.mycat.org.cn/1.6.7.6/20210303094759/Mycat-server-1.6.7.6-release-20210303094759-linux.tar.gz

tar xf Mycat-server-1.6.7.6-release-20210303094759-linux.tar.gz -C /usr/local/
sudo useradd -M -N -s /sbin/nologin mycat && echo "123456" | sudo passwd --stdin mycat
sudo chown -R mycat./usr/local/mycat/

bin プログラムディレクトリ、Linux で実行: ./mycat console、最初の chmod x *
注: Mycat はコマンドをサポートしています { console | start | stop | restart | status | dump }
conf 設定ファイルこれらはディレクトリに保存されます。server.xml は Mycat サーバーのパラメータ調整とユーザー認証の設定ファイル、schema.xml は論理ライブラリ定義、テーブル、およびシャーディング定義の設定ファイル、rule.xml はシャーディングルールの設定ファイルです。 schema.xml はシャーディングルールの構成ファイルです。スライスルールの一部の特定のパラメータ情報はファイルとして個別に保存され、このディレクトリにもあります。構成ファイルを変更した場合、有効にするために Mycat を再起動する必要があります。
lib ディレクトリには主に、mycat が依存するいくつかの jar ファイルが保存されます。
ログは、logs/mycat.log に 1 日あたり 1 ファイル保存されます。ログ構成は conf/log4j.xml にあります。必要に応じて、デバッグの出力レベルを調整できます。デバッグレベルでは、トラブルシューティングを容易にするための情報がさらに出力されます。

MyCat サービスの起動と起動設定

MyCAT を Linux に展開して起動する場合、最初に必要なものがあります。 Linux システムの環境変数に MYCAT_HOME を設定する操作方法は次のとおりです:
sudo vim /etc/profile.d/mycat.sh
MYCAT_HOME=/usr /local/mycat PATH= $MYCAT_HOME/bin:$PATH
環境変数を有効にする
. /etc/profile.d /mycat.sh

サービスを開始します
/usr/local/mycat/bin/mycat start
cat /usr/local /mycat/logs/wrapper.log

mycat のユーザーアカウントと認証情報は、conf/server.xml ファイルの設定にあります。

vim /usr/local/mycat/conf/server.xml
ここで定義されているのは、192.168.2.2 の mycat にログインするためのユーザー名とパスワードです。名前はカスタマイズできます。 mysqld サービスは 192.168.2.2 では実行されていません。スキーマで指定されたデータベース名は、サーバー側に存在する必要があるデータベースです。

#dataHost の構成情報について、MyCAT 構成ファイル schema.xml を編集します。次のように:

\cp /usr/local/mycat/conf/schema.xml{,.bak}
編集設定ファイル
vim /usr/local/mycat/conf/schema.xml

"> 注意してくださいこちらのURLへ、書き間違えると起動不能になります！ < "dn1" dataHost="dthost" database="mydata"/>
バランス= "1"
writeType = "0" dbtype = "mysql" dbdriver = "ネイティブ"
switchtype = "-1"
slavethreshold = "100"＆gt; /heartbeat＆gt; ＃ホスト> ;
#すべての読み取り操作を強制的に読み取りサーバー上で実行し、データの書き込み時にのみ書き込みサーバーに切り替える
ここでの mycat ユーザーは、マスター/スレーブデータベースの 192.168.2.3 および 2.5 で承認されている必要があることに注意してください。
GRANT ALL PRIVILEGES ON *.* TO 'mycat'@' %' IDENTIFIED BY '123456';
またはネットワークセグメントを指定します
#このエラーが報告された場合、サーバーは正常に実行されています。最初に承認があるかどうかを確認してください。
エラー 1184 (HY000): 無効なデータソース:0

##スキーマ：

論理ライブラリ、 MySQL Databaseと同様、論理ライブラリに含まれるTableに相当します。

table: テーブル、つまり、物理データベースに格納されているテーブルです。従来のデータベースとは異なり、ここでのテーブルは、格納する論理データノード DataNode を宣言する必要があります。これは、テーブル。ルール定義を通じてこれを実現するために、テーブルはそれが属する「childTable」を定義できます。子テーブルのシャーディングは、「親テーブル」の特定のシャーディングアドレスに依存します。簡単に言うと、テーブルは特定のレコードに属します。 A のサブテーブルのすべてのレコードは、A と同じシャードに保存されます。
シャーディングルール: フィールドと関数のバンドル定義です。このフィールドの値に基づいて、格納されているシャード (DataNode) のシーケンス番号が返されます。各テーブルにはシャーディングルールを定義でき、シャーディングデフォルトで数値ベースのシャーディングルール、文字列シャーディングルールなどを提供する拡張機能。 dataNode:
MyCAT の論理データノードは、テーブルが保存される特定の物理ノードです。シャードノードとも呼ばれます。DataSource を通じて特定のバックエンドデータベースに関連付けられます。一般に、つまり、高可用性を実現するために、各データノードにはマスターとスレーブの 2 つのデータソースが装備されており、マスターノードがダウンすると、システムは自動的にスレーブノードに切り替わります。
dataHost: dataNodeにバインドする物理ライブラリのアクセスアドレスを定義します。
MyCAT は現在、構成ファイルを通じて論理ライブラリと関連構成を定義します: MYCAT_HOME/conf/schema.xml は論理ライブラリ、テーブル、シャードノードなどを定義します;

MYCAT_HOME/conf で断片化ルールを定義します/rule.xml;

MYCAT_HOME/conf/server.xml で、ポートなどのユーザーおよびシステム関連の変数を定義します。

注:
スキーマタグは、MyCat インスタンスの論理ライブラリを定義するために使用されます。name: の後に論理ライブラリ名が続きます。MyCat は複数の論理ライブラリを持つことができ、各論理ライブラリには独自の論理ライブラリがあります関連する設定。スキーマタグを使用して、これらの異なる論理ライブラリを分割できます。

checkSQLschema この属性のデフォルトは false です。公式ドキュメントでは、テーブル「select * from db1.testtable」の前にあるデータベースの名前を削除するかどうかを意味しています。true に設定すると、db1 が削除されます。ただし、db1 の名前が

スキーマの名前ではない場合は削除されないため、この構文を使用しないことが公式に推奨されています。また、デフォルトでは false に設定されます。
sqlMaxLimit 値が特定の数値に設定されている場合。実行される SQL ステートメントごとに、limit ステートメントが追加されていない場合、MyCat は対応する値を自動的に追加します。たとえば、値を 100 に設定して「select * from test_table」を実行すると、結果は
「select * from test_table limit 100」になります。
dataNode ラベルは、MyCat のデータノードを定義します。私たちが通常データと呼ぶもの。
##

サービスを再起動します
/usr/local/mycat/bin/mycat restart
Mycat サーバーを停止しています...
Mycat を停止しました-server.
Mycat サーバーの開始...
tail /usr/local/mycat/logs/wrapper.log

#MySQL マスター/スレーブの構成

最初にメインデータベース側 192.168.2.3 Edit /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
ソケット=/var/lib/mysql/mysql.sock

シンボリックリンク=0

log-bin=/data/mysql/mysql-bin

server-id=1 binlog-ignore-db=mysql
binlog-ignore-db=information_schema
binlog-ignore-db=performance_schema
binlog-ignore-db=test
innodb_flush_log_at_trx_commit=1
binlog-do-db=
mydatareplicate-do-db=
mydata
同期するデータベースは次の場所に存在する必要があることに注意してください。前進

#エラーなく起動したら、スレーブサーバー 192.168.2.5 /etc/my.cnf
vim /etc/my.cnf  1
datadir=/var/lib /mysql
ソケット=/var/lib/mysql/mysql.sock

シンボリックリンク=0

log-bin=/data/mysql/mysql-bin
サーバー-id=2
リレーログインデックス=/data/mysql/slave-relay-bin.index
リレーログ=/データ/mysql/slave-relay-bin
lower_case_table_names=1

read_only =1 読み取り専用モードをオンにしてデータのライトバックを防ぎ、スレーブ同期レプリケーションには影響しません
lower_case_table_names=1 大文字と小文字の一致をオンにします

スレーブデータベースサービスの再起動後、以下の操作を実施しますスレーブサーバーのスレーブを停止し、スレーブデータベースユーザーを作成します
mysql -uroot -p123456 - e "スレーブを停止します"
mysql -uroot -p123456 -e "mysql.user からユーザー、パスワードを選択"

mysql -uroot -p123456 -e "マスター変更master_host='192.168.2.3',master_user='スレーブ',master_password='123456',master_log_file='mysql-bin.000002',master_log_pos=245;"

mysql -uroot -p123456 -e "スレーブのステータスを表示"

#テスト
まず、メインサーバー 192.168.2.3## のすべてのライブラリのバックアップをエクスポートします。
##mysqldump -uroot -p --all-databases > /tmp/all_dbs.sql
##mysql -uroot -p < ; /tmp/all_dbs.sql
メインデータベース側 192.168.2.3 にデータを追加し、セカンダリデータベースが同期されているかどうかを確認します

スレーブサーバーを確認してください

同期エラーが発生した場合は、スレーブ側でスレーブを停止する必要がありますサーバーを変更してからマスターを再度変更します

##スレーブユーザーログインテストを使用します

## mycat サーバー 192.168.2.2 に戻ります

mysql -uroot -p123456 -h192.168.2 にログインしてみます。 2 -P8066
8066 は、mycat 実行時のポート番号
##読み取り/書き込み分離のテストmysql -uroot -p123456 -h192.168.2.2 -P9066 -e "show @@datasource"

9066 は mycat 管理ポートです

#select * from mydata.mylist;

##データの書き込みまたはデータの変更insert into mydata.mylistvalues(10,'test ');

##障害をシミュレートし、最初にスレーブサーバー 192.168.2.5

を停止します。

systemctl stop mariadb.service

192.168.2.2

メインサーバー 192.168.2.3
で表示

スレーブサーバー 192.168.2.5 を開きます

##マスターサーバー 192.168.2.3 をシミュレートします。

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

vim cat /usr/ local/mycat /conf/server.xml
mydata,wordpress

##vim /usr/local/mycat/conf/schema.xml

<スキーマ名="wordpress" checkSQLschema = "false" sqlMaxLimit="100" dataNode='dn2'>

/usr/local/mycat/bin/mycat restart
を追加した後、サービスを再起動します。 tail / usr/local/mycat/logs/wrpper.log

##エラー処理

起動に失敗しました: JVM からの信号を待機中にタイムアウトしました。
JVM は要求に応じて終了せず、終了しました
解決策 # をwrapper.confに追加します
##wrapper.startup.timeout=300

//タイムアウト 300 秒wrapper.ping.timeout=120
##推奨される学習:

以上がMycat の MySQL クラスターの読み取りと書き込みの分離の実装について話しましょうの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。