背景

MySQL 5.6版本，新增了一个NoSQL的接口，通过将memcached嵌入到MySQL系统之中，用户可以直接使用memcached接口直接操作MySQL中的InnoDB表，绕过MySQL Server层面的SQL解析，优化，甚至绕过InnoDB Handler层，直接操作InnoDB内部的方法，从而达到更优的响应时间与效率。关于此功能的官方介绍，请见：InnoDB Integration with memcached 。嵌入memcached之后，整个MySQL的架构如下图所示：

本文接下来的部分，将从源码的角度，详细分析InnoDB Integration with memcached的实现细节问题。

导读

InnoDB引擎为了支持Memcached API，在Handler层面进行的改动，请见(一)；

Memcached Plugin的初始化流程，请见(二)；

InnoDB提供的Callback方法在InnoDB Handlerton中的data中以及Memcached Plugin的data中，是如何传递的呢？请见(三)；

InnoDB Memcached Engine提供的方法集合，请见(四)；

InnoDB Memcached Engine提供的方法，如何调用到InnoDB Engine提供的方法，请见(五)；

InnoDB Memcached Engine中，存在两个Engine实例：InnoDB Engine vs Default Engine，二者的功能异同，请见(六)；

InnoDB Memcached Engine中，需要配置Container Table，Container表详解，请见(七)；

InnoDB Memcached Engine的初始化与使用流程，可参考engine_testapp.c测试文件；

(一) InnoDB Handler层面改动

InnoDB为了支持Memcached接口，在其Handler层面提供了新的Callback方法，这些方法的定义如下：

????????????/** Set up InnoDB API callback function array */

????????????ib_cb_t innodb_api_cb[] = {

????????????????(ib_cb_t) ib_cursor_open_table,

????????????????(ib_cb_t) ib_cursor_read_row,

????????????????(ib_cb_t) ib_cursor_insert_row,

????????????????(ib_cb_t) ib_cursor_delete_row,

????????????????(ib_cb_t) ib_cursor_update_row,

????????????????(ib_cb_t) ib_cursor_next,

????????????????(ib_cb_t) ib_cursor_last,

????????????????(ib_cb_t) ib_tuple_get_n_cols,

????????????????(ib_cb_t) ib_col_set_value,

????????????????(ib_cb_t) ib_col_get_value,

????????????????(ib_cb_t) ib_col_get_meta,

????????????????(ib_cb_t) ib_trx_begin,

????????????????(ib_cb_t) ib_trx_commit,

????????????????(ib_cb_t) ib_trx_rollback,

????????????????(ib_cb_t) ib_trx_start,

????????????????…

????????????};

同时，innodb_api_cb[]数组，被存储在InnoDB Handlerton的data字段中，可以向上传递给InnoDB Memcached Engine。InnoDB Memcached Engine可以调用这些Callback方法，达到直接操作InnoDB Engine的目的。

????????ha_innodb.cc::innobase_init();

????????????…

????????????innobase_hton->data = &innodb_api_cb;

(二) Memcached Plugin的初始化流程

Memcached Plugin，同样注册为MySQL的一个插件(memcached_mysql.cc)，此插件的定义如下：

????????mysql_declare_plugin(daemon_memcached)

????????{

????????????MYSQL_DAEMON_PLUGIN,

????????????&daemon_memcached_plugin,

????????????”daemon_memcached”,

????????????”Oracle Corporation”,

????????????”Memcached Daemon”,

????????????PLUGIN_LICENSE_GPL,

????????????daemon_memcached_plugin_init,????????/* Plugin Init */

????????????daemon_memcached_plugin_deinit,????/* Plugin Deinit */

????????????0×0100 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?/* 1.0 */,

????????????NULL, ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? /* status variables */

????????????daemon_memcached_sys_var, ? ? ? ? ? ? ?/* system variables */

????????????NULL ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?/* config options */

????????}

????????mysql_declare_plugin_end;

Memcached Plugin插件，初始化为daemon_memcached_plugin_init函数，该函数同样需要一个Handlerton输入，初始化Memcached Plugin插件，尤其是初始化InnoDB Memcached Engine。详细的初始化流程如下所示:

????struct mysql_memcached_context * con;

????// plugin为InnoDB的Handlerton，plugin->data指向InnoDB Handlerton中的data，

????// 在InnoDB的init函数中被初始化为innodb_api_cb数组。innodb_api_cb数组中，

????// 注册了各种InnoDB提供的方法。

????…

????con->memcached_conf.m_innodb_api_cb = plugin->data;

????…

????// 创建Memcached Plugin后台线程，线程的主函数为daemon_memcached_main()，

????// 线程传入参数，即为从InnoDB Handlerton处获取的InnoDB提供的Callback方法

????pthread_create(&con->memcached_thread, &attr,

????????????????daemon_memcached_main, (void *)&con->memcached_conf);

????????…

????????// 创建、加载InnoDB Memcached Engine

????????Engine_loader.c::load_engine();

????????????// Create InnoDB Memcached Engine

????????????// 注册InnoDB Memcached Engine的各种方法，例如：

????????????// 初始化方法：innodb_eng->engine.initialize = innodb_initialize;

????????????innodb_engine.c::create_instance();

????????????????…

????????// 初始化InnoDB Memcached Engine

????????Engine_loader.c::init_engine(engine_handle,engine_config…);

????????????Innodb_engine.c::innodb_initialize(engine, config_str);

????????????????// 注册InnoDB Engine提供的内部方法至InnoDB Memcached Engine，

????????????????// 包括：读取、插入、删除、更新、事务创建/提交/回滚等操作。

????????????????// 至此，后续的InnoDB Memcached Engine的所有操作，均可被映射

????????????????// 为InnoDB Storage Engine提供的内部方法进行实际操作。

????????????????Innodb_api.c::register_innodb_cb();

????????????????// Fetch InnoDB specific settings

????????????????innodb_eng->meta_info = innodb_config(NULL, 0, &innodb_eng->meta_hash);

????????????????????// Find the table and column info that used for memcached data

????????????????????// Cantainers表：InnoDB内部存储元数据的系统表，

????????????????????// MCI_CFG_DB_NAME；MCI_CFG_CONTAINER_TABLE；…

????????????????????innodb_config.c::innodb_config_container();

????????????????…

????????????????// 开启InnoDB Memcached Engine的后台自动提交线程

????????????????innodb_engine.c::innodb_bk_thread();

????????????????????…

????????…

????// 在InnoDB Handlerton中存储更多Memcached Plugin所需要的信息

????plugin->data = (void *)con;

(三) Memcached Plugin如何获取使用InnoDB Handlerton中的innodb_api_cb？

// 在此函数中完成innodb_api_cb的传递

sql_plugin.cc::plugin_initialize();

????// 此函数指针，直接调用到Plugin注册的init方法

????(*plugin_type_initialize[plugin->plugin->type])(plugin);

????…

????// 判断出当前是InnoDB引擎完成了初始化，则将InnoDB Handlerton中

? ? // 的data拷贝到临时变量中

????if (strcmp(plugin->name.str, “InnoDB”) == 0)

????????innodb_callback_data = ((Handlerton *)plugin->data)->data;

????// 判断出当前Plugin为Memcached Plugin，则将临时变量赋值到memcached plugin

? ? // 的data中，完成InnoDB Handlerton提供的Callback方法的传递

????else if (plugin->plugin->init)

????????if (strcmp(plugin->name.str, “daemon_memcached”) == 0)

????????????plugin->data = (void *)innodb_callback_data;

????????// 初始化Memcached Plugin

????????plugin->plugin->init();

(四) InnoDB Memcached Plugin提供的方法集合

????????innodb_engine.c::create_instance();

????????????innodb_eng->engine.interface.interface = 1;

????????????innodb_eng->engine.get_info = innodb_get_info;

????????????innodb_eng->engine.initialize = innodb_initialize;

????????????innodb_eng->engine.destroy = innodb_destroy;

????????????innodb_eng->engine.allocate = innodb_allocate;

????????????innodb_eng->engine.remove = innodb_remove;

????????????innodb_eng->engine.release = innodb_release;

????????????innodb_eng->engine.clean_engine= innodb_clean_engine;

????????????innodb_eng->engine.get = innodb_get;

????????????innodb_eng->engine.get_stats = innodb_get_stats;

????????????innodb_eng->engine.reset_stats = innodb_reset_stats;

????????????innodb_eng->engine.store = innodb_store;

????????????innodb_eng->engine.arithmetic = innodb_arithmetic;

????????????innodb_eng->engine.flush = innodb_flush;

????????????innodb_eng->engine.unknown_command = innodb_unknown_command;

????????????innodb_eng->engine.item_set_cas = item_set_cas;

????????????innodb_eng->engine.get_item_info = innodb_get_item_info;

????????????innodb_eng->engine.get_stats_struct = NULL;

????????????innodb_eng->engine.errinfo = NULL;

????????????innodb_eng->engine.bind = innodb_bind;

所有InnoDB Memcached Engine提供的方法，都是类Memcached方法。例如：get/remove/store方法等。

(五) 一个InnoDB Memcached Plugin的操作的流程

通过Memcached Plugin进行一个删除操作的函数处理流程，如下：

注1：删除操作，对应的InnoDB Handlerton提供的方法为：????remove()

注2：删除操作，对应的InnoDB Memcached Engine的方法为：????ib_cursor_delete_row()

// 通过Memcached接口删除操作的处理流程

memcached.c::process_delete_command();

????settings.engine.v1->remove(settings.engine.v0, c, key, nkey, 0, 0);

????// InnoDB Memcached Engine层面提供的删除方法

????innodb_engine.c::innodb_remove(ENGINE_HANDLE*, cookie, key, nkey, …);

????????…

????????// 初始化InnoDB的连接，传入参数分析：

????????// CONN_MODE_WRITE：当前为写操作

????????// IB_LOCK_X：????????当前操作需要对记录行加X锁

????????conn_data = innodb_conn_init(innodb_eng, cookie, CONN_MODE_WRITE, …);

????????????if (conn_option == CONN_MODE_WRITE)

????????????????// 开始一个事务

????????????????innodb_api.c::innodb_cb_trx_begin();

????????????????????ib_cb_trx_begin() -> api0api.cc::ib_trx_begin();

????????????????// 打开当前表，并设置游标

????????????????innodb_api.c::innodb_api_begin();

????????????????????…

????????// 进行真正的删除操作

????????innodb_api.c::innodb_api_delete(innodb_eng, conn_data, key, nkey);

????????????// 根据传入的key，将游标定位到正确的位置

????????????innodb_api.c::innodb_api_search();

????????????????…

????????????// 如果开启了binlog，则需要将定位到的记录拷贝出来

????????????if (engine->enable_binlog)

????????????????…

????????????// 删除记录

????????????????ib_cb_delete_row() -> api0api.cc::ib_cursor_delete_row();

????????????// 记录binlog

????????????????handler_api.cc::handler_binlog_row();

????????????// 删除构造出来的Tuple对象

????????????ib_cb_tuple_delete() -> api0api.cc::ib_tuple_delete();

(六) InnoDB Engine vs Default Engine

在InnoDB Engine结构的内部(innodb_engine.h::struct innodb_engine)，有两个实例化的Engine Handle，分别为：

????????ENGINE_HANDLE_V1????engine;

????????ENGINE_HANDLE*????????default_engine;

两个engine handle有何区别：

ENGINE_HANDLE_V1为InnoDB Engine Handle，封装了所有InnoDB引擎提供的方法；

ENGINE_HANDLE(default_engine)为Memcached自带的默认Engine，封装了所有标准Memcached所提供的方案，包括：slab分配，数据的存取、失效等等。

InnoDB Engine与Default Engine是否启用？是否同时启用？通过参数控制：

????/** Tells if we will used Memcached default engine or InnoDB Memcached engine to handle the request */

????typedef enum meta_cache_opt {

????????META_CACHE_OPT_INNODB = 1,????????/*!

????????META_CACHE_OPT_DEFAULT, ? ? ? ? ? ? /*!

????????META_CACHE_OPT_MIX, ? ? ? ? ? ? ? ? ? ? ? ?/*!

????????META_CACHE_OPT_DISABLE, ? ? ? ? ? ? ? /*!

????????META_CACHE_NUM_OPT ? ? ? ? ? ? ? ? ? ? ? ?/*!

????} meta_cache_opt_t;

默认的参数值为META_CACHE_OPT_INNODB，仅仅启用InnoDB Engine，数据通过InnoDB引擎提供的Callback方法操作；若同时启用了Memcached Default Engine(META_CACHE_OPT_MIX)，那么数据读取时，首先从Default Engine中读取；记录删除时，也需要先删除Default Engine中的记录；

(七) Container表详解

InnoDB Memcached Engine，包含一个Container Table，用于存储Memcached与InnoDB Table之间的映射关系。

Container Table，必须包含9列，分别是：

????/** Columns in the “containers” system table, this maps the Memcached

????operation to a consistent InnoDB table */

????typedef enum container {

????????CONTAINER_NAME, ? ? ? ? /*!

????????CONTAINER_DB, ? ? ? ? ? ? ? ?/*!

????????CONTAINER_TABLE,????????/*!

????????CONTAINER_KEY, ? ? ? ? ? ? /*!

????????CONTAINER_VALUE, ? ? ? /*!

????????CONTAINER_FLAG, ? ? ? ? ?/*!

????????CONTAINER_CAS, ? ? ? ? ? ? /*!

????????CONTAINER_EXP, ? ? ? ? ? ? /*!

????????CONTAINER_NUM_COLS????/*!

????} container_t;

其中：

CONTAINER_TABLE为InnoDB表名，CONTAINER_DB为对应的Database名；
CONTAINER_KEY为Memcached的Key对应的InnoDB表中的列名(只能一列)；
CONTAINER_VALUE为Memcached的Value对应的InnoDB表中的列名(可以有多列，以” ;,|\n”作为分隔符，详见innodb_config.c::innodb_config_parse_value_col()函数)；
CONTAINER Table的最后一列，为CONTAINER_KEY列对应的InnoDB表的唯一索引名(必须存在)；
CONTAINER Table，在innodb_engine.cc::innodb_initialize函数被读取，将其中的每一项都解析并存储到InnoDB Engine的meta_hash结构之中：

????innodb_config.c::innodb_config(NULL, 0, &innodb_eng->meta_hash);

????????innodb_config_meta_hash_init();

????????????…

????????????// 打开CONTAINER Table

????????????innodb_api.c::innodb_api_begin(…, MCI_CFG_CONTAINER_TABLE, …);

????????????innodb_api.c::innodb_cb_read_row();

????????????innodb_config.c::innodb_config_add_item();

????????????????…

????????????????// 针对Value列，需要解析此列对应于InnoDB Table的哪些列

????????????????// InnoDB中的不同列，以” ;,|\n”作为分隔符

????????????????if (i == CONTAINER_VALUE)

????????????????????innodb_config_parse_value_col();

????????????????…

在innodb_engine.cc::innodb_initialize函数，完成Container Table的读取以及Meta Hash的填充之后，后续的Memcached方法，才可以根据规则操作，完成记录在Memcached与InnoDB引擎间的传递。

背景 MySQL 5.6版本，新增了一个NoSQL的接口，通过将memcached嵌入到MySQL系统之中，用户可以直接使用memcached接口直接操作MySQL中的InnoDB表，绕过MySQL Server层面的SQL解析，优化，甚至绕过InnoDB Handler层，直接操作InnoDB内部的方法，从而达到更优的响应时间与效率。关于此功能的官方介绍，请见：InnoDB Integration with memcached 。嵌入memcached之后，整个MySQL的架构如下图所示：本文接下来的部分，将从源码的角度，详细分析InnoDB Integration with memcached的实现细节问题。导读 InnoDB引擎为了支持Memcached API，在Handler层面进行的改动，请见(一)； Memcached Plugin的初始化流程，请见(二)； InnoDB提供的Callback方法在InnoDB Handlerton中的data中以及Memcached Plugin的data中，是如何传递的呢？请见(三)； InnoDB Memcached Engine提供的方法集合，请见(四)； InnoDB Memcached Engine提供的方法，如何调用到InnoDB Engine提供的方法，请见(五)； InnoDB Memcached Engine中，存在两个Engine实例：InnoDB … 继续阅读 → InnoDB Memcached Plugin源码实现调研