mysqlファブリックとは何ですか-mysql チュートリアル-php.cn

MySQL Fabric は、MySQL サーバーグループを管理するための拡張可能なフレームワークであり、GPL オープンソースソフトウェアです。つまり、ユーザーは GPL 仕様に準拠してこのソフトウェアを自由に使用および変更できます。 mysql ファブリックは、あらゆる管理リクエストを処理するプロセスです。HA 機能を使用する場合、このプロセスにマスターサーバーの監視を担当させ、障害が発生した場合にはフェイルオーバーを開始してスレーブサーバーをマスターサーバーにアップグレードすることができます。

mysqlファブリックとは何ですか

このチュートリアルの動作環境: Windows7 システム、mysql8 バージョン、Dell G3 コンピューター。

MySQL Fabric の概要

MySQL Fabric は、MySQL サーバーファームを管理するための拡張可能なフレームワークです。

MySQL Fabric は複数の MySQL データベースを「編成」でき、アプリケーションシステムは数 TB を超えるテーブルを複数のデータベース、つまりデータシャードに分散します。同じシャードには複数のデータベースを含めることができ、ファブリックは適切なデータベースをマスターデータベースとして自動的に選択し、他のデータベースはマスター/スレーブレプリケーションのスレーブデータベースとして構成されます。マスターデータベースがハングアップすると、スレーブデータベースの 1 つが選択され、マスターデータベースに昇格します。その後、他のスレーブデータベースが新しいプライマリデータベースに転送され、新しいデータがコピーされます。注: ここで言う「自動」とは、ユーザーが手動で設定を変更する必要がなく、MySQL Fabric がバックグラウンドで処理を完了することを意味します。最も重要なことは、MySQL Fabric が GPL オープンソースソフトウェアであるということです。つまり、このソフトウェアは GPL 仕様に基づいて自由に使用および変更できます。

ファブリックフレームワークは、高可用性 (高可用性) とデータシャーディングを使用した水平拡張 (シャーディング) の 2 つの機能を実装しており、これら 2 つの機能は単独で使用することも、組み合わせて使用することもできます。

両方の機能は、次の 2 つのレベルに基づいて実装されます。

mysql ファブリックは、あらゆる管理リクエストを処理するプロセスです。 HA 機能を使用する場合、このプロセスでマスターサーバーを監視し、障害が発生したときにフェイルオーバーを開始して、スレーブサーバーをマスターサーバーにアップグレードすることもできます。 MySQL Fabric 対応コネクタは、MySQL Fabric から取得したルーティング情報をキャッシュに保存し、この情報を使用してトランザクションまたはクエリを正しい MySQL サーバーに送信します。

高可用性

HA グループは 2 台以上の MySQL サーバーで構成され、常に 1 台のサーバーがマスターサーバー (MySQL レプリケーション機能のマスター) として機能します。 ).server)、その他のサーバーはスレーブサーバー(MySQLレプリケーション機能のスレーブサーバー)として機能します。 HA グループの役割は、グループに保存されたデータに常にアクセスできるようにすることです。 MySQL のレプリケーション機能は、レプリケーションを通じてデータのセキュリティを確保し、MySQL ファブリックの高可用性ソリューションは、これに基づいて 2 つの重要な追加要素を提供します。

障害の検出とアップグレード - MySQL ファブリックの監視 HA グループマスターサーバー内のマスターサーバー。マスターサーバーの障害イベントが発生した場合、スレーブサーバーを選択し、マスターサーバーに昇格します。データベースリクエストのルーティング - 書き込みリクエストをマスターサーバーにルーティングし、スレーブサーバー間で読み取りリクエストの負荷を分散する操作です。トポロジが変更された場合でも、アプリケーションに対して透過的です。フェイルオーバー中

#シャーディング - スケールアウト #MySQL サーバー (または HA グループ) に近い場合容量または書き込みパフォーマンスの制限に達すると、MySQL ファブリックはデータベースサーバーを水平方向にサポートします複数の MySQL サーバー「グループ」にデータを分割することによるスケーリング。グループには MySQL サーバーを 1 つだけ含めることも、HA グループを含めることもできることに注意してください。管理者は、これらのサーバー間でデータをシャーディングする方法を定義します。どのテーブル列をシャーディングキーとして使用するかを指定し、さらにシャーディングが必要な場合にこれらのキーを正しいシャードにマップするために HASH マッピングまたは RANGE マッピングを使用するかどうかを指定します。既存のシャードに加えて、シャードを再割り当てすることもできます。

MySQL Fabric によって解決される問題

なぜデータシャーディングを行うのでしょうか?データシャードは、アプリケーションが 1TB を超えるデータのテーブルを処理する必要がある場合に、多くの場合必要になります。このように大きなテーブルを使用すると、クエリと更新の効率の点で非効率になったり、構造のバックアップと変更に必要な時間がかかったりします。 #大きな質問です。ただし、このような大きなテーブルを複数のデータベースサーバーに分散すると、により、各データベースサーバーが単一障害点になる可能性が高くなります。そのうちの 1 つがハングアップすると、システム全体の動作に問題が発生します。一方、アプリケーション側のプログラムも混乱します。なぜなら、各クエリはクエリ条件 ( where 句) はより複雑になります。さらに、データ断片化の構造が変更されると (データベースの追加など)、アプリケーション側のすべてのプログラムを変更する必要があり、その結果メンテナンスは非常に複雑になります。
アプリケーションの複雑さの増加の問題を解決するために、誰かがアプリケーションとデータベースサーバーの間にプロキシを追加するか、 (プロキシ)、またはスイッチになります。アプリケーションにはデータベースに対するすべての命令が最初にプロキシに送信され、次に proxy がどのデータベースにを転送するかを決定します。下の写真はこの計画の概略図です。これにより、アプリケーションの保守が難しいという問題は解決される可能性がありますが、アプリケーションの数が増加したり、データベースのシャーディングが増加したり、システムの負荷が増加したりすると、この問題は解決されます。スイッチは、容量とパフォーマンスのボトルネックおよび単一障害点になります (スイッチがダウンすると、アプリケーションはデータベースを見つけることができなくなります)、すべてのデータベース命令を送信する必要があります 2 回 (最初に切り替え、次にデータベースに)。各クエリにより追加の負荷が発生します。

#MySQL ファブリックアーキテクチャ

MySQL Fabric は異なるアプローチを採用しており、そのアーキテクチャを次の図に示します。主な機能は、スイッチを各アプリケーション側のコネクタに結合して、単一スイッチの単一障害点とパフォーマンスのボトルネックを解決することです。

MySQL Fabric は 3 つの部分で構成されます:

1.MySQL Fabric 管理ノード:

は Python スクリプトであり、アーキテクチャ全体の中核です。

MySQL ファブリック管理ノードの主な機能は、データベースサーバーファーム全体 (データベースサーバーファーム) を管理することです。起動すると、構成ファイル /etc/mysql/ が見つかります。 Fabric.cnf を開き、それを使用して、サーバーファームのアーキテクチャと構成を保存するリポジトリとして、ファブリックの背後にある MySQL データベースの場所、ポート、接続アカウント、およびその他の情報を指定します。

ファブリックが初期化されると (mysqlfabric manage setup コマンドを実行すると)、MySQL データベース (通常はファブリックという名前のデータベース) 上のスキーマが開き、サーバーファームの構成関連情報が保存されます。たとえば、どのサーバーグループがどのデータベースで構成されているか、各サーバーグループにどのマスターサーバーとスレーブサーバーがあるかなどです。

MySQL ファブリックノードの構成をセットアップするとき、サーバーファーム内の各データベースのマスター/スレーブレプリケーションを確立するコマンドが発行されます (上の図の赤い線)。

通常運用中に各グループのメインサーバーに定期的に ping を実行し、メインデータベースが正常に動作していないことが判明すると、フェイルオーバープログラムが開始され、スレーブデータベースが検索されます。サーバーファーム。マスターサーバーへの適切な昇格。他のスレーブデータベースは新しいマスターデータベースを使用してデータのレプリケーションを続行します。

2. データベースサーバーファーム

これは、アーキテクチャ全体で動作するエンジンです。従来のデータベースアプリケーションでは、これは単一の MySQL です。一方、MySQL Fabric は複数のデータベースを使用して、大規模なデータスケール (テラバイト以上) と高可用性データベースのニーズをサポートします。これらのデータベースは複数の高可用性グループ (HA グループ) に分割されており、各グループには複数のデータベースサーバーが含まれています。上図の下のいくつかの灰色と水色の四角は高可用性グループを表します。高可用性グループに複数のデータベースがある場合、MySQL Fabric は 1 つのデータベースをマスターデータベース (Master) に昇格させることを選択し (mysqlfabric group Promotion コマンドを使用)、他のデータベースはスレーブデータベース (Slave) になります。マスターデータベースの変更をコピーして完了します。同じ高可用性グループ内でマスター/スレーブレプリケーションをセットアップします。将来的には、ファブリックはこのメインデータベースに定期的にアクセスすることになります。プライマリデータがダウンすると、ファブリックは高可用性グループから 1 つを選択してプライマリデータベースに昇格し、他のデータベースはこの新しいプライマリデータベースを使用してレプリケーションを続行します。
一方、MySQL Fabric は、これらのマスター/スレーブデータベースの読み取りと書き込みを分離するために、アプリケーション側でコネクタのみを使用します。アプリケーションがデータベースに対して読み取りと書き込みの両方の操作を実行する場合、コネクタは命令をマスターデータベースに送信します。アプリケーションがデータベースに対して読み取り操作のみを実行し、接続の read_only パラメータが「ON」に設定されている場合、すべてのクエリがこれらのデータベースに順番に送信されます。読み取りと書き込みを分離することで、アプリケーションシステムのデータ処理能力を向上させることができます。さらに、前述したように、MySQL Fabric は複数のデータベースサーバーに分割する必要があるテーブル (シャーディングテーブル) も処理でき、各高可用性グループにはシャードテーブルのデータの一部が保存される場合があります。アプリケーション側のコネクタは、MySQL ファブリック管理ノードの設定に従って、シャードテーブルの指示をさまざまな高可用性グループに送信します。これにより、高可用性グループの数が増加するにつれて、データベースの容量も拡張できます。同時に、非分割テーブルに対して発行された命令とすべての DDL は、コネクタによって global 高可用性グループ (global group) に送信されます。グローバル高可用性グループは MySQL Fabric であり、他の高可用性グループのプライマリデータベースとして設定されます。分割テーブルを格納するすべての高可用性グループのプライマリデータベースは、グローバルグループ内の変更をレプリケートするため、他の高可用性グループは非分割テーブルデータのコピーを保持します。これにより、SQL での非分割テーブル上の分割テーブルの JOIN 操作が容易になります。

3. コネクタ

アプリケーションシステムの実行中、各 SQL コマンドはコネクタ経由でデータベースに送信されます。 MySQL Fabric に搭載されているコネクタは、一般的なスタンドアロン MySQL データベースと同じですが、新しいバージョンのコネクタはファブリック対応コネクタであり、データベースサーバーファームを処理できる機能が増えています。これにより、データベース接続の確立時に XML-RPC プロトコルを使用して MySQL ファブリックの管理ノードのサーバーファームの構成を確認し、ファブリックの指示に従って接続中のクエリを適切なデータベースに送信できるようになります。。

この方法では、一般的なデータベースシャードソリューションでパフォーマンスのボトルネックを引き起こす可能性があるプロキシがコネクタに配置され、この問題が解決されます。現在、MySQL Fabric でサポートされているテクノロジには、Java、Python、および PHP が含まれます。つまり、Connector/J、Connector/Python、および Connector/PHP はすべて Fabric 対応です。

Java を例に挙げます。JDBC ドライバーは Connector/J 5.1.30 以降である必要があります。Fabric の Java プログラムは、スタンドアロン MySQL をクエリするための一般的な Java プログラムと似ています。データベース接続オブジェクトが使用される場合、データベース接続 URL はデータベースを指すのではなく、MySQL Fabric 管理ノードを指します (サーバーの IP とポートは通常 32274)。

クエリ対象のテーブルがグローバルテーブル (テーブルシャードなし) または DDL (テーブルの作成やテーブル構造の変更など) である場合、確立時に ''fabricServerGroup='' を追加する必要があります。接続オブジェクトとパラメータを設定すると、この接続オブジェクトを通じて発行された SQL コマンドがグローバルグループのメインデータベースに送信され、データベースが他の高可用性グループ (シャード) にコピーされます。 #SQL の場合コマンドで操作するテーブルがシャードテーブルです。接続オブジェクトを作成するときに、パラメーターに
''fabricShardTable= パラメーターを追加する必要があります。その後、この接続を通じて SQL コマンドが発行されます。オブジェクトは MySQL Fabric に従って設定され、テーブル (シャード) の原則は各パーティション (シャード) の高可用性グループに送信されます。
このようにして、アプリケーションプログラムがこれらのシャードテーブルの下で SQL 命令を発行するとき、SQL でどのデータベースに送信するかを決定する必要はありません。どのデータベースに送信するかは、データベース接続を確立するときに MySQL Fabric にあるサーバーファームの構成情報 (どのデータベースがどのシャードグループに属するか、各シャードテーブルの分割原則など) によって決定されます。この構成は、メイン接続が確立された後、コネクタが配置されているアプリケーション側にキャッシュされます。
#この方法では、SQL コマンドが発行されるたびに MySQL Fabric 管理ノードに繰り返しクエリを実行する必要がなく、サブテーブルの構成がアプリケーション側に応じて、正しいデータベースに直接送信されます。テーブルの分割によってアプリケーションの効率が低下することはありません。
[関連する推奨事項: mysql ビデオチュートリアル
]