数据迁移工具 chameleon 的使用限制

　　简介

　　chameleon 是一个用 Python 3 编写的 MySQL 到 openGauss 的实时复制工具。工具使用 mysql-replication 库从 MySQL 中提取 row images，这些 row images 将以 jsonb 格式被存储到 openGauss 中。在 openGauss 中会执行一个 pl/pgsql 函数，解码 jsonb 并将更改重演到 openGauss。同时，工具通过一次初始化配置，使用只读模式，将 MySQL 的全量数据拉取到 openGauss，使得该工具提供了初始全量数据的复制以及后续增量数据的实时在线复制功能。

　　使用限制

　　1. 一般性限制

　　根据 mysql-replication 的要求，Python 3 仅支持 3.5~3.7。

　　MySQL 列的 AUTO_INCREMENT 属性，在 openGauss 侧将通过序列 (serial) 实现。

　　detach 复制副本进程将重置 openGauss 中的序列 (serial)，以使数据库独立工作。外键约束也会在 detach 过程中被创建和验证。

　　视图、自定义函数、存储过程、触发器支持离线迁移，不支持在线迁移。

　　自定义 type 不支持离线和在线迁移。

　　对于分区表，openGauss 无法支持的分区表类型暂不会被迁移。分区表迁移规则见分区表迁移规则。

　　配置文件中，schema mappings 中指定的 openGauss 侧的目的 schema 名称不能是 sch_chameleon。sch_chameleon 是工具将自行创建用于辅助复制的 schema 名称。

　　列默认值问题。由于列的默认值可以是表达式，部分 MySQL 的表达式若 openGauss 不支持的话，离线迁移过程中会报错，导致迁移失败。可通过关闭迁移默认值的方式临时规避该问题。

　　MySQL 的 unsigned 数据类型迁移时，会自动去掉 unsigned 属性，如 MySQL 的 unsigned int 迁移到 openGauss 时将变成 int，若 MySQL 中存储的数据超过了 int 的取值范围，迁移过程中会出错。

　　工具支持的 MySQL 版本为 5.5+，openGauss 的版本为 2.1.0+。

　　对于 float、double 等浮点数，迁移过程中可能由于精度误差，造成 MySQL 和 openGauss 中的值不完全一样。

　　若想迁移到 openGauss 的表名和视图名的大小写与 MySQL 一致，MySQL 的系统变量 lower_case_table_names 的值应设置为 0。存在大小写的触发器名、自定义函数名、存储过程名迁移前后一致。

　　对于索引或约束中的表达式，如索引前缀表达式 id (5) 的写法目前暂会迁移为 col_name。

　　迁移后的索引或者约束如 index_name 会改写为 tbl_name_index_name 的带有表名前缀的格式。

　　由于 openGauss 内核中哈希分区表不支持切割分区，不支持合成分区，不支持添加和删除分区。列表分区表不支持切割分区，不支持合成分区，故该工具在 HASH/LIST 分区暂不支持 COALESCE 和 REORGANIZE，在 HASH 分区不支持 ADD/DROP PARTITION。

　　由于目前 openGauss 内核的限制，二级分区的分区表可以正常执行 ALTER PARTITION 中的 ADD/DROP/TRUNCATE 功能，COALESCE/REORGANIZE/EXCHANGE 暂不支持。

　　对于 HASH 分区及 KEY 分区表在线迁移，由于 MySQL 和 openGauss 中 hash 分区内核实现不同，迁移后 openGauss 数据存放分区与 MySQL 中数据存放的分区存在差异。

　　对于二级分区表，openGauss 不支持一级和二级分区采用相同的键值。

　　2. 对象迁移限制

　　chameleon 支持复制数据库对象是基于 openGauss-tools-sql-translator 仓库进行数据库对象的翻译，可前往该仓库了解数据库对象的翻译情况。

　　目前，要迁移的数据库对象体内若存在 commit 或 rollback 无法解析翻译，将迁移失败。

　　目前 MySQL 存储过程中的 NO SQL、READS SQL DATA、MODIFIES SQL 字段和自定义函数中的 CONTAINS SQL、NO SQL、READS SQL DATA、MODIFIES SQL DATA、SECURITY 字段无法解析，无法将这些 openGauss 不支持的参数屏蔽且 warning 提示信息。而是直接报错，迁移失败。

　　3. 在线迁移限制

　　在线 DDL 仅支持部分语句，主要包括 CREATE/DROP/RENAME/TRUNCATE TABLE, ALTER TABLE DROP/ADD/CHANGE/MODIFY, DROP PRIMARY KEY, CREATE/DROP INDEX, ALTER TABLE ADD FOREIGN KEY/UNIQUE INDEX/INDEX, ALTER TABLE DROP FOREIGN KEY/INDEX/CONSTRAINT, ALTER TABLE ADD/DROP/TRUNCATE/COALESCE/EXCHANGE/REORGANIZE PARTITION。

　　添加 / 删除字段

　　ALTER TABLE {table_name} ADD/DROP

　　修改字段数据类型、名称

　　ALTER TABLE {table_name} CHANGE/MODIFY

　　删除主键约束

　　ALTER TABLE {table_name} DROP PRIMARY KEY

　　删除表

　　DROP TABLE

　　重命名表

　　RENAME TABLE

　　截断表

　　TRUNCATE TABLE

　　创建表

　　CREATE TABLE

　　在线创建索引

　　1.CREATE [UNIQUE] INDEX index_name [index_type] ON tbl_name (key_part,...) [index_option]

　　2.ALTER TABLE ADD {INDEX | KEY} [index_name] [index_type] (key_part,...) [index_option]

　　index_type: USING {BTREE | HASH} key_part: {col_name [(length)] | (expr)} [ASC | DESC] index_option: {index_type | COMMENT 'string'}

　　在线删除索引

　　1.DROP INDEX index_name ON tbl_name

　　2.ALTER TABLE tbl_name DROP {INDEX | KEY} index_name

　　在线创建外键

　　ALTER TABLE tbl_name ADD [CONSTRAINT [symbol]] FOREIGN KEY [index_name] (col_name,...) reference_definition

　　在线删除外键

　　ALTER TABLE tbl_name DROP FOREIGN KEY fk_symbol

　　在线创建唯一约束

　　ALTER TABLE tbl_name ADD [CONSTRAINT [symbol]] UNIQUE [INDEX | KEY] [index_name] [index_type] (key_part,...) [index_option] ...

　　在线删除唯一约束

　　ALTER TABLE tbl_name DROP {CHECK | CONSTRAINT} symbol

　　在线创建分区表

　　CREATE TABLE tbl_name [(create_definition,...)] [table_options] [partition_options]

　　在线 alter 分区表 ADD PARTITION

　　ALTER TABLE tbl_name ADD PARTITION (partition_definition)

　　在线 alter 分区表 DROP PARTITION

　　ALTER TABLE tbl_name DROP PARTITION partition_names

　　在线 alter 分区表 TRUNCATE PARTITION

　　ALTER TABLE tbl_name TRUNCATE PARTITION {partition_names | ALL}

　　在线 alter 分区表 COALESCE PARTITION

　　ALTER TABLE tbl_name COALESCE PARTITION number

　　在线 alter 分区表 EXCHANGE PARTITION

　　ALTER TABLE tbl_name EXCHANGE PARTITION partition_name WITH TABLE tbl_name [{WITH | WITHOUT} VALIDATION]

　　在线 alter 分区表 REORGANIZE PARTITION

　　ALTER TABLE tbl_name REORGANIZE PARTITION partition_names INTO (partition_definitions)