mydumper の原理の詳細な紹介

mydumper のインストール: http://www.cnblogs.com/lizhi221/p/7010174.html

mydumper の紹介

MySQL 独自の mysqldump ツールシングルスレッド作業をサポートし、複数のテーブルを 1 つずつエクスポートします。並列マシンがないため、データを迅速にバックアップできません。

mydumper は、マルチスレッド作業を十分にサポートしており、複数のスレッドを並行して使用して、同時にテーブルからデータを読み取り、異なるファイルに書き込むことができるため、従来の mysqldump よりも高速になります。 。特徴として、処理中にリストをロックする必要があるため、勤務時間中にバックアップ作業を行う必要がある場合、DML ブロックが発生します。ただし、一般に、現在の MySQL にはマスターとスレーブがあり、ほとんどのバックアップはスレーブで実行されるため、ロックの問題を考慮する必要はありません。このようにして、mydumper はバックアップ タスクをより適切に完了できます。

mydumperの特徴

①マルチスレッドバックアップ

②マルチスレッド論理バックアップであるため、バックアップ後に複数のバックアップファイルが生成されます

③MyISAMのときバックアップ FTWRL (FLUSH TABLES WITH READ LOCK) をテーブルに適用すると、DML ステートメントがブロックされます

④ バックアップ データの一貫性を確保します

⑤ ファイル圧縮をサポートします

⑥ バイナリログのエクスポートをサポートします

⑦ マルチスレッドリカバリをサポート

⑧デーモンモードでの作業、スケジュールされたスナップショット、継続的なバイナリログをサポート

⑨バックアップファイルのチャンクへのカットをサポート

mydumperパラメータの詳細な説明

$ mydumper --helpUsage:
  mydumper [OPTION...] multi-threaded MySQL dumping

Help Options:  -?, --help                  Show help optionsApplication Options:  -B, --database              要备份的数据库，不指定则备份所有库
  -T, --tables-list           需要备份的表，名字用逗号隔开
  -o, --outputdir             备份文件输出的目录
  -s, --statement-size        生成的insert语句的字节数，默认1000000
  -r, --rows                  Try to split tables into chunks of this many rows. This option turns off --chunk-filesize
  -F, --chunk-filesize        Split tables into chunks of this output file size. This value is in MB
  -c, --compress              Compress output files压缩输出文件
  -e, --build-empty-files     如果表数据是空，还是产生一个空文件（默认无数据则只有表结构文件）
  -x, --regex                 Regular expression for 'db.table' matching 使用正则表达式匹配'db.table'
  -i, --ignore-engines        Comma delimited list of storage engines to ignore忽略的存储引擎，用逗号分割
  -m, --no-schemas            Do not dump table schemas with the data不备份表结构，只备份数据
  -d, --no-data               Do not dump table data备份表结构，不备份数据
  -G, --triggers              Dump triggers备份触发器
  -E, --events                Dump events
  -R, --routines              Dump stored procedures and functions备份存储过程和函数
  -k, --no-locks              不使用临时共享只读锁，使用这个选项会造成数据不一致
  --less-locking              Minimize locking time on InnoDB tables.减少对InnoDB表的锁施加时间
  -l, --long-query-guard      设定阻塞备份的长查询超时时间，单位是秒，默认是60秒（超时后默认mydumper将会退出）
  -K, --kill-long-queries     Kill long running queries (instead of aborting)杀掉长查询 (不退出)
  -D, --daemon                Enable daemon mode启用守护进程模式，守护进程模式以某个间隔不间断对数据库进行备
  -I, --snapshot-interval     dump快照间隔时间，默认60s，需要在daemon模式下
  -L, --logfile               使用的日志文件名(mydumper所产生的日志), 默认使用标准输出
  --tz-utc                    SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.
  --skip-tz-utc               
  --use-savepoints            使用savepoints来减少采集metadata所造成的锁时间，需要 SUPER 权限
  --success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist
  --lock-all-tables           Use LOCK TABLE for all, instead of FTWRL
  -U, --updated-since         Use Update_time to dump only tables updated in the last U days
  --trx-consistency-only      Transactional consistency only
  -h, --host                  连接的主机名
  -u, --user                  用来备份的用户名
  -p, --password              用户密码
  -P, --port                  连接端口
  -S, --socket                使用socket通信时的socket文件
  -t, --threads               开启的备份线程数，默认是4
  -C, --compress-protocol     压缩与mysql通信的数据
  -V, --version               显示版本号
  -v, --verbose               输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

mydumper メインプロセスの概要

1. メインスレッドは読み取りロックでテーブルをフラッシュし、DML ステートメントの書き込みを防止し、データを確保します。整合性

2. 現時点でのバイナリログファイル名とログの書き込み場所を読み取り、即時ポイントリカバリのためにメタデータファイルに記録します

3.指定できます。デフォルトは 4) dump Thread START TRANSACTION WITH CONSISTENT SNAPSHOT; 一貫したトランザクションの読み取りを開始します

4. 非 InnoDB テーブルをダンプし、最初に非トランザクション エンジン テーブルをエクスポートします

5.テーブル 非トランザクション エンジンのバックアップが完了したら、グローバル読み取り専用ロックを解放します

6、InnoDB テーブルをダンプ、トランザクションに基づいて InnoDB テーブルをエクスポートします

7、トランザクション終了

Mydumper のレスロックモード:

mydumper は --less- を使用します。 ロックすることでロック待機時間を短縮できます。 このとき、mydumper の実行メカニズムはおおよそ次のとおりです。 1. メインスレッド FLUSH TABLES WITH READ LOCK (グローバル ロック) ) 2. スレッドをダンプし、一貫したスナップショットでトランザクションを開始します

3. LL スレッドをダンプし、InnoDB 以外のテーブルをロックします (スレッド内部ロック)

4. メインスレッドがテーブルをロック解除します

5. LL ダンプ スレッド ダンプ非 InnoDB テーブル

6. LL ダンプ スレッド UNLOCK 非 InnoDB テーブル

7. スレッド ダンプ InnoDB テーブル

mydumバックアップフローチャートごと

以上がmydumper の原理の詳細な紹介の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。