MySQL Memory 存储引擎浅析_MySQL
bitsCN.com
MySQL Memory 存储引擎浅析
吴剑 2011-11-29
http://wu-jian.cnblogs.com/
前言
需求源自项目中的MemCache需求,开始想用MemCached(官方站点:http://memcached.org/ ),但这个在Linux下面应用广泛的开源软件无官方支持的Windows版本。后来看到博客园在用NorthScale Memcached Server(官方站点:http://www.couchbase.com/products-and-services/memcached),貌似共享收费,又犹豫了。其实项目里的需求很简单,也想自己用.Net Cache来实现,但稳定性难以评估,开发维护成本又似乎太大,没办法,My SQL Memory Storage成了唯一选择,因为几乎不怎么需要编写代码。
先看官方手册,然后写了个简单的性能测试。因为官方最新的文档都是英文版的,所以译了5.5版本 MySQL Memory Storage章节。
官方文档
Memory存储引擎将表的数据存放在内存中。Memory替代以前的Heap成为首选项,但同时向下兼容,Heap仍被支持。
Memory存储引擎特性:
Storage limits | RAM | Transactions | No | Locking granularity | Table |
MVCC | No | Geospatial data type support | No | Geospatial indexing support | No |
B-tree indexes | Yes | Hash indexes | Yes | Full-text search indexes | No |
Clustered indexes | No | Data caches | N/A | Index caches | N/A |
Compressed data | No | Encrypted data | Yes | Cluster database support | No |
Replication support | Yes | Foreign key support | No | Backup / point-in-time recoveryc | Yes |
Query cache support | Yes | Update statistics for data dictionary | Yes |
Memory 与 MySQL Cluster的比较,希望部署内存引擎的开发者们会考虑MySQL Cluster是否是更好的选择,参考如下Memory引擎的使用场景及特点:
- 能像会话(Session)或缓存(Caching)一样方便操作和管理。
- 充分发挥内存引擎的特点:高速度,低延迟。
- 只读或读为主的访问模式(不适合频繁写)。
但是内存表的性能受制于单线程的执行效率和写操作时的表锁开销,这就限制了内存表高负载时的扩展性,特别是混合写操作的并发处理。此外,内存表中的数据在服务器重启后会丢失。
MySQL Cluster(集群)支持与Memory引擎同样的功能并且提供更高的性能,同时拥有Memory不支持的更多其它功能:
- 行锁机制更好的支持多线程多用户并发。
- 更好的支持读写混合语句以及扩展。
- 可选择磁盘存储介质永久保存数据。
- Shared-nothing和分布式架构保证无单点故障,99.999% 可用性。
- 数据自动分布在各个节点,应用开发者无需考虑分区或分片解决方案。
- 支持MEMORY中不支持的变长数据类型(包括BLOB 和 TEXT)。
关于MySQL集群与Memory引擎更多细节方面的比较,可以查看Scaling Web Services with MySQL Cluster: An Alternative to the MySQL Memory Storage Engine,该白皮书包括了这两种技术的性能研究,并一步步指导你如何将Memory用户迁移到MySQL集群。
每个Memory表和一个磁盘文件关联起来。文件名由表的名字开始,并且由一个.frm的扩展名来指明它存储的表定义。要明确指出你想要一个Memory表,可使用ENGINE选项来指定:
CREATE TABLE t (i INT) ENGINE = MEMORY;
如它们名字所指明的,Memory表被存储在内存中,且默认使用哈希索引。这使得它们非常快,并且对创建临时表非常有用。可是,当服务器关闭之时,所有存储在Memory表里的数据被丢失。因为表的定义被存在磁盘上的.frm文件中,所以表自身继续存在,在服务器重启动时它们是空的。
这个例子显示你如何可以创建,使用并删除一个Memory表:
CREATE TABLE test ENGINE=MEMORY;<br>SELECT ip,SUM(downloads) AS down FROM log_table GROUP BY ip;<br>SELECT COUNT(ip),AVG(down) FROM test;<br>DROP TABLE test;
MEMORY表有下列特征:
- 给Memory表的空间被以小块来分配。表对插入使用100%动态哈希来。不需要溢出区或额外键空间。自由列表无额外的空间需求。已删除的行被放在一个以链接的列表里,并且在你往表里插入新数据之时被重新使用。Memory表也没有通常与在哈希表中删除加插入相关的问题。
- MEMORY表可以有多达每个表64个索引,每个索引16列,以及3072字节的最大键长度。
- MEMORY存储引擎支持HASH和BTREE索引。你可以通过添加一个如下所示的USING子句为给定的索引指定一个或另一个:
CREATE TABLE lookup<br>(id INT, INDEX USING HASH (id))<br>ENGINE = MEMORY;<br>CREATE TABLE lookup<br>(id INT, INDEX USING BTREE (id))<br>ENGINE = MEMORY;
로그인 후 복사 - 如果一个MEMORY 表的哈希索引键高度重复 (许多索引条目包含相同的值),与索引键相关的更新以及所有的删除将会明显变慢。 重复度与速度成正比,此时你可以使用BTREE 索引来避免这个问题。
- MEMORY表能够使用非唯一键。(对哈希索引的实现,这是一个不常用的功能)
- 对可包含NULL值的列的索引
- MEMORY表使用固定的记录长度格式,像VARCHAR这样的可变长度类型将转换为固定长度类型在MEMORY表中存储。
- MEMORY不能包含BLOB或TEXT列.
- MEMORY支持AUTO_INCREMENT列
- MEMORY表支持INSERT DELAYED
- 非临时的MEMORY表在所有客户端之间共享,就像其它任何非临时表。
- MEMORY表内容存储在内存中,它会作为动态查询队列创建内部临时表的共享介质,但是两个类型表的不同在于MEMORY表不会遇到存储转换,而内部表则会:
1、MEMORY表不会转换为磁盘表,而内部临时表如果太大会自动转换为磁盘表。
2、MEMORY表最大值受系统变量 max_heap_table_size 限制,默认为16MB,要改变MEMORY表大小限制,需要改变max_heap_table_size 的值。该值在 CREATE TABLE 时生效并伴随表的生命周期,(当你使用 ALTER TABLE 或 TRUNCATE TABLE命令时,表的最大限制将改变,或重启MYSQL服务时, 所有已存在的MEMORY表的最大限制将使用max_heap_table_size 的值重置。) - 服务器需要足够内存来维持所有在同一时间使用的MEMORY表。
- 如果删除行,内存表不会回收内存,只有整张表全部删除的时候,才进行内存回收。同时只有在同一张表中插入新行时才会使用之前删除行的内存空间。 要释放已删除行所占用的内存空间,可以使用ALTER TABLE ENGINE=MEMORY对表进行强制重建。当内容过期要释放整张内存表,可以执行DELETE 或 TRUNCATE TABLE清除所有行,或者使用DROP TABLE删除表。
- 当MySQL服务器启动时,如果你想填充MEMORY表,你可以使用--init-file选项。例如,你可以把INSERT INTO ... SELECT 或LOAD DATA INFILE这样的语句放入这个文件中以便从持久稳固的的数据源装载表。
- 如果你正使用复制,当主服务器被关闭且重启动之时,主服务器的MEMORY表变空。可是从服务器意识不到这些表已经变空,所以如果你从它们选择数据,它就返回过时的内容。自从服务器启动后,当一个MEMORY表在主服务器上第一次被使用之时,一个DELETE FROM语句被自动写进主服务器的二进制日志,因此再次让从服务器与主服务器同步。注意,即使使用这个策略,在主服务器的重启和它第一次使用该表之间的间隔中,从服务器仍旧在表中有过时数据。可是,如果你使用--init-file选项于主服务器启动之时在其上推行MEMORY表。它确保这个时间间隔为零。
- 在MEMORY表中,一行需要的内存使用下列公式计算:
SUM_OVER_ALL_BTREE_KEYS(max_length_of_key + sizeof(char*) * 4)<br>+ SUM_OVER_ALL_HASH_KEYS(sizeof(char*) * 2)<br>+ ALIGN(length_of_row+1, sizeof(char*))
로그인 후 복사
ALIGN()代表round-up因子,它使得行的长度为char指针大小的确切倍数。sizeof(char*)在32位机器上是4,在64位机器上是8。
如前所述,系统变量 max_heap_table_size 用于设置内存表的大小上限。要控制单个表的最大值,需要在创建表之前设置会话变量。(不要设置全局max_heap_table_size 的值,除非你打算所有客户端创建的内存表都使用这个值)
下面的例子创建了两张内存表,它们的大小限制分别为 1MB 和 2MB:SET max_heap_table_size = 1024*1024;<br>/* Query OK, 0 rows affected (0.00 sec) */<br><br>CREATE TABLE t1 (id INT, UNIQUE(id)) ENGINE = MEMORY;<br>/* Query OK, 0 rows affected (0.01 sec) */<br><br>SET max_heap_table_size = 1024*1024*2;<br>/* Query OK, 0 rows affected (0.00 sec) */<br><br>CREATE TABLE t2 (id INT, UNIQUE(id)) ENGINE = MEMORY;<br>/* Query OK, 0 rows affected (0.00 sec) */
로그인 후 복사
如果服务重启,两张表的大小限制会使用全局的max_heap_table_size值复原。
你也可以通过CREATE TABLE 的MAX_ROWS选项设置表的最大行数,但max_heap_table_size的优先级高于MAX_ROWS,当两者同时存在时为了最大兼容,你需要将max_heap_table_size设置一个合理值。
Memory存储引擎官方论坛: http://forums.mysql.com/list.php?92
性能测试
分别测试比较了MySQL的InnoDB、MyIsam、Memory三种引擎与.Net DataTable的Insert以及Select性能(柱状图体现了其消耗时间,单位百纳秒,innodb_flush_log_at_trx_commit参数配置为1,每次测试重启了MySQL以避免Query Cache),大至结果如下:
写入10000条记录比较。
读取1000条记录比较。
测试脚本:
/******************************************************<br>MYSQL STORAGE ENGINE TEST<br>http://wu-jian.cnblogs.com/<br>2011-11-29<br>******************************************************/<br><br><br>CREATE DATABASE IF NOT EXISTS test<br> CHARACTER SET 'utf8'<br> COLLATE 'utf8_general_ci';<br>USE test;<br><br><br>/******************************************************<br>1.INNODB<br>******************************************************/<br><br>DROP TABLE IF EXISTS test_innodb;<br>CREATE TABLE IF NOT EXISTS test_innodb (<br><br> id INT UNSIGNED AUTO_INCREMENT COMMENT 'PK',<br> obj CHAR(255) NOT NULL DEFAULT '' COMMENT 'OBJECT',<br><br> PRIMARY KEY (id)<br><br>) ENGINE=INNODB;<br><br><br>/******************************************************<br>2.MYISAM<br>******************************************************/<br><br>DROP TABLE IF EXISTS test_myisam;<br>CREATE TABLE IF NOT EXISTS test_myisam (<br><br> id INT UNSIGNED AUTO_INCREMENT COMMENT 'PK',<br> obj CHAR(255) NOT NULL DEFAULT '' COMMENT 'OBJECT',<br><br> PRIMARY KEY (id)<br><br>) ENGINE=MYISAM;<br><br><br>/******************************************************<br>1.MEMORY<br>******************************************************/<br><br>DROP TABLE IF EXISTS test_memory;<br>CREATE TABLE IF NOT EXISTS test_memory (<br><br> id INT UNSIGNED AUTO_INCREMENT COMMENT 'PK',<br> obj CHAR(255) NOT NULL DEFAULT '' COMMENT 'OBJECT',<br><br> PRIMARY KEY (id)<br><br>) ENGINE=MEMORY;
测试代码:
using System;<br>using System.Data;<br>using MySql.Data.MySqlClient;<br><br>namespace MySqlEngineTest<br>{<br> class Program<br> {<br> const string OBJ = "The MEMORY storage engine creates tables with contents that are stored in memory. Formerly, these were known as HEAP tables. MEMORY is the preferred term, although HEAP remains supported for backward compatibility.";<br> const string SQL_CONN = "Data Source=127.0.0.1;Port=3308;User ID=root;Password=root;DataBase=test;Allow Zero Datetime=true;Charset=utf8;pooling=true;";<br><br> const int LOOP_TOTAL = 10000;<br> const int LOOP_BEGIN = 8000;<br> const int LOOP_END = 9000;<br><br> #region Database Functions<br><br> public static bool DB_InnoDBInsert(string obj)<br> {<br> string commandText = "INSERT INTO test_innodb (obj) VALUES (?obj)";<br> MySqlParameter[] parameters = { <br> new MySqlParameter("?obj", MySqlDbType.VarChar, 255)<br> };<br> parameters[0].Value = obj;<br> if (DBUtility.MySqlHelper.ExecuteNonQuery(SQL_CONN, CommandType.Text, commandText, parameters) > 0)<br> return true;<br> else<br> return false;<br> }<br><br> public static string DB_InnoDBSelect(int id)<br> {<br> string commandText = "SELECT obj FROM test_innodb WHERE id = ?id";<br> MySqlParameter[] parameters = { <br> new MySqlParameter("?id", MySqlDbType.Int32)<br> };<br> parameters[0].Value = id;<br> return DBUtility.MySqlHelper.ExecuteScalar(SQL_CONN, CommandType.Text, commandText, parameters).ToString();<br> }<br><br> public static bool DB_MyIsamInsert(string obj)<br> {<br> string commandText = "INSERT INTO test_myisam (obj) VALUES (?obj)";<br> MySqlParameter[] parameters = { <br> new MySqlParameter("?obj", MySqlDbType.VarChar, 255)<br> };<br> parameters[0].Value = obj;<br> if (DBUtility.MySqlHelper.ExecuteNonQuery(SQL_CONN, CommandType.Text, commandText, parameters) > 0)<br> return true;<br> else<br> return false;<br> }<br><br> public static string DB_MyIsamSelect(int id)<br> {<br> string commandText = "SELECT obj FROM test_myisam WHERE id = ?id";<br> MySqlParameter[] parameters = { <br> new MySqlParameter("?id", MySqlDbType.Int32)<br> };<br> parameters[0].Value = id;<br> return DBUtility.MySqlHelper.ExecuteScalar(SQL_CONN, CommandType.Text, commandText, parameters).ToString();<br> }<br><br> public static bool DB_MemoryInsert(string obj)<br> {<br> string commandText = "INSERT INTO test_memory (obj) VALUES (?obj)";<br> MySqlParameter[] parameters = { <br> new MySqlParameter("?obj", MySqlDbType.VarChar, 255)<br> };<br> parameters[0].Value = obj;<br> if (DBUtility.MySqlHelper.ExecuteNonQuery(SQL_CONN, CommandType.Text, commandText, parameters) > 0)<br> return true;<br> else<br> return false;<br> }<br><br> public static string DB_MemorySelect(int id)<br> {<br> string commandText = "SELECT obj FROM test_memory WHERE id = ?id";<br> MySqlParameter[] parameters = { <br> new MySqlParameter("?id", MySqlDbType.Int32)<br> };<br> parameters[0].Value = id;<br> return DBUtility.MySqlHelper.ExecuteScalar(SQL_CONN, CommandType.Text, commandText, parameters).ToString();<br> }<br><br> #endregion<br><br> #region Test Functions InnoDB<br><br> static void InnoDBInsert()<br> {<br> long begin = DateTime.Now.Ticks;<br> for (int i = 0; i {<br> DB_InnoDBInsert(OBJ);<br> }<br> Console.WriteLine("InnoDB Insert Result: {0}", DateTime.Now.Ticks - begin);<br> }<br><br> static void InnoDBSelect()<br> {<br> long begin = DateTime.Now.Ticks;<br> for (int i = LOOP_BEGIN; i {<br> DB_InnoDBSelect(i);<br> }<br> Console.WriteLine("InnoDB SELECT Result: {0}", DateTime.Now.Ticks - begin);<br> }<br><br> static void MyIsamInsert()<br> {<br> long begin = DateTime.Now.Ticks;<br> for (int i = 0; i {<br> DB_MyIsamInsert(OBJ);<br> }<br> Console.WriteLine("MyIsam Insert Result: {0}", DateTime.Now.Ticks - begin);<br> }<br><br> static void MyIsamSelect()<br> {<br> long begin = DateTime.Now.Ticks;<br> for (int i = LOOP_BEGIN; i {<br> DB_MyIsamSelect(i);<br> }<br> Console.WriteLine("MyIsam SELECT Result: {0}", DateTime.Now.Ticks - begin);<br> }<br><br> static void MemoryInsert()<br> {<br> long begin = DateTime.Now.Ticks;<br> for (int i = 0; i {<br> DB_MemoryInsert(OBJ);<br> }<br> Console.WriteLine("Memory Insert Result: {0}", DateTime.Now.Ticks - begin);<br> }<br><br> static void MemorySelect()<br> {<br> long begin = DateTime.Now.Ticks;<br> for (int i = LOOP_BEGIN; i {<br> DB_MemorySelect(i);<br> }<br> Console.WriteLine("Memory SELECT Result: {0}", DateTime.Now.Ticks - begin);<br> }<br><br> static void DataTableInsertAndSelect()<br> {<br> //Insert<br> DataTable dt = new DataTable();<br> dt.Columns.Add("id", Type.GetType("System.Int32"));<br> dt.Columns["id"].AutoIncrement = true;<br> dt.Columns.Add("obj", Type.GetType("System.String"));<br><br> DataRow dr = null;<br><br> long begin = DateTime.Now.Ticks;<br> for (int i = 0; i {<br> dr = null;<br> dr = dt.NewRow();<br> dr["obj"] = OBJ;<br> dt.Rows.Add(dr);<br> }<br> Console.WriteLine("DataTable Insert Result: {0}", DateTime.Now.Ticks - begin);<br><br> //Select<br> long begin1 = DateTime.Now.Ticks;<br> for (int i = LOOP_BEGIN; i {<br> dt.Select("id = " + i);<br> }<br> Console.WriteLine("DataTable Select Result: {0}", DateTime.Now.Ticks - begin1);<br> }<br><br> #endregion<br><br> static void Main(string[] args)<br> {<br> InnoDBInsert();<br> InnoDBSelect();<br><br> //restart mysql to avoid query cache<br><br> MyIsamInsert();<br> MyIsamSelect();<br><br> //restart mysql to avoid query cache<br><br> MemoryInsert();<br> MemorySelect();<br><br> DataTableInsertAndSelect();<br> }<br><br> }//end class<br>}
总结
.Net Cache读写性能毫无疑问大大领先于数据库引擎
InnoDB写入耗时大概是MyIsam和Memory的5位左右,它的行锁机制必然决定了写入时的更多性能开销,而它的强项在于多线程的并发处理,而本测试未能体现其强项。
三种数据库引擎在SELECT性能上差不多,Memory稍占优。
bitsCN.com

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











Bybit Exchange를 업데이트하는 방법은 플랫폼 및 장치에 따라 다릅니다. 모바일 : App Store에 업데이트를 확인하고 설치하십시오. 데스크탑 클라이언트 : 도움말 메뉴에서 업데이트를 확인하고 자동으로 설치하십시오. 웹 페이지 : 업데이트를 위해 공식 웹 사이트에 수동으로 액세스해야합니다. 교환을 업데이트하지 않으면 보안 취약성, 기능 제한, 호환성 문제 및 거래 실행 효율이 줄어 듭니다.

DeepSeek은 웹 버전과 공식 웹 사이트의 두 가지 액세스 방법을 제공하는 강력한 지능형 검색 및 분석 도구입니다. 웹 버전은 편리하고 효율적이며 설치없이 사용할 수 있습니다. 개인이든 회사 사용자이든, DeepSeek를 통해 대규모 데이터를 쉽게 얻고 분석하여 업무 효율성을 향상시키고 의사 결정을 지원하며 혁신을 촉진 할 수 있습니다.

Pinetwork 노드에 대한 자세한 설명 및 설치 안내서이 기사에서는 Pinetwork Ecosystem을 자세히 소개합니다. Pi 노드, Pinetwork 생태계의 주요 역할을 수행하고 설치 및 구성을위한 전체 단계를 제공합니다. Pinetwork 블록 체인 테스트 네트워크가 출시 된 후, PI 노드는 다가오는 주요 네트워크 릴리스를 준비하여 테스트에 적극적으로 참여하는 많은 개척자들의 중요한 부분이되었습니다. 아직 Pinetwork를 모른다면 Picoin이 무엇인지 참조하십시오. 리스팅 가격은 얼마입니까? PI 사용, 광업 및 보안 분석. Pinetwork 란 무엇입니까? Pinetwork 프로젝트는 2019 년에 시작되었으며 독점적 인 Cryptocurrency Pi Coin을 소유하고 있습니다. 이 프로젝트는 모든 사람이 참여할 수있는 사람을 만드는 것을 목표로합니다.

Docker 컨테이너를 사용하여 사전 컴파일 된 패키지 (Windows 사용자의 경우)를 사용하여 소스 (숙련 된 개발자)를 컴파일하는 것을 포함하여 DeepSeek를 설치하는 방법에는 여러 가지가 있습니다. 공식 문서는 신중하게 문서를 작성하고 불필요한 문제를 피하기 위해 완전히 준비합니다.

Coinsuper Exchange의 공식 웹 사이트 입구 : https://www.coinsuper.com. 클라이언트 다운로드 채널은 Windows Client, MacOS Client 및 Mobile (iOS/Android)입니다. 등록에는 이메일, 휴대폰 번호 및 비밀번호가 필요하며 거래를하기 전에 실제 인증을 완료해야합니다. 이 플랫폼은 비트 코인, 이더 리움 등을 포함한 다양한 디지털 자산 거래를 제공하며 주문 및 수락자 모두에 대해 거래 수수료 비율이 0.1%입니다. 보안 보호 장치에는 콜드 지갑 저장, 듀얼 요인 검증, 자금 세탁 방지 및 테러 방지 금융 조치 및 보안 공개가 포함됩니다.

Bitget은 스팟 거래, 계약 거래 및 파생 상품을 포함한 다양한 거래 서비스를 제공하는 Cryptocurrency 교환입니다. 2018 년에 설립 된이 교환은 싱가포르에 본사를두고 있으며 사용자에게 안전하고 안정적인 거래 플랫폼을 제공하기 위해 노력하고 있습니다. Bitget은 BTC/USDT, ETH/USDT 및 XRP/USDT를 포함한 다양한 거래 쌍을 제공합니다. 또한 Exchange는 보안 및 유동성으로 유명하며 프리미엄 주문 유형, 레버리지 거래 및 24/7 고객 지원과 같은 다양한 기능을 제공합니다.

세계 최고의 디지털 자산 거래소 인 Ouyi Okx는 이제 안전하고 편리한 거래 경험을 제공하기 위해 공식 설치 패키지를 시작했습니다. OUYI의 OKX 설치 패키지는 브라우저를 통해 액세스 할 필요가 없습니다. 설치 프로세스는 간단하고 이해하기 쉽습니다. 사용자는 최신 버전의 설치 패키지를 다운로드하고 설치를 단계별로 완료하면됩니다.

Gate.io는 사용자가 설치 패키지를 다운로드하여 장치에 설치하여 사용할 수있는 인기있는 cryptocurrency 교환입니다. 설치 패키지를 얻는 단계는 다음과 같습니다. Gate.io의 공식 웹 사이트를 방문하고 "다운로드"를 클릭하고 해당 운영 체제 (Windows, Mac 또는 Linux)를 선택하고 컴퓨터에 설치 패키지를 다운로드하십시오. 설치 중에 항 바이러스 소프트웨어 또는 방화벽을 일시적으로 비활성화하여 원활한 설치를 보장하는 것이 좋습니다. 완료 후 사용자는 GATE.IO 계정을 만들려면 사용을 시작해야합니다.
