分享下去年底写的mysql分库分表中间件heisenberg_MySQL
目前维护在github上了，googlecode稳定性太差
https://github.com/brucexx/heisenberg
其优点： 分库分表与应用脱离，分库表如同使用单库表一样
减少db 连接数压力
热重启配置
可水平扩容
遵守Mysql原生协议
无语言限制，mysqlclient,c,java等都可以使用
Heisenberg服务器通过管理命令可以查看，如连接数，线程池，结点等，并可以调整
采用velocity的分库分表脚本进行自定义分库表，相当的灵活
之前在组里有做过简单的分享，这段时间稍微轻松了点，先分享出来，看有没有更好的idea在这块有所提升
下面开始介绍heisenberg
1.heisenberg总体架构
首先这块架构：
应用对于heisenberg集群来说就是mysql客户端，
而heisenberg也是集成了mysql的原生协议，所以对于应用来说，就相当于单库单表的数据源
无论是mysql客户端，c,jdbc驱动等都可以访问heisenberg服务器，由服务器把分库分表的工作给做掉了
访问heisenberg集群可以通过像lvs,F5等负载软件/设备解决，
其实一台heisenberg的性能是相当的赞了，我压力到2320TPS load 都还只有0.1-0.3左右（CPU 8core,16G），由于找不到mysql物理机器了，只得做罢
服务端内部结构：
其中FrontConnectionFactory为面向应用的连接管理，ManagerConnectionFactory为面向heisenberg服务器内部管理的一些连接管理，比如更改配置后热重启，关闭 某个连接等功能
mysql协议贯穿于应用程序与mysql服务器，最终解析为相关的mysql数据包, 授权包，注册包等
当heisenberg服务器接收到SQL语句后，通过AST语法解析 解析成 DML,DCL,DDL类型以及相关列名的值等等，然后通过ServerRouter这一层，经过分库分表的切分，最终将切分好的语句放入对应数据结点进行执行
分库分表的切分，为了满足各种通用性灵活性，使用了velocity和groovy 2种语法来支持，其中groovy是初始化表和库和映射关系的，只在加载时初始化一次；而velocity是用来渲染对应的分库和分表规则的。
OK，知道了原理，那么开始说明如何使用分库分表吧
2.heisenberg开发
Maven +JDK 部署好
代码从 https://github.com/brucexx/heisenberg
下载到本地后，
Mvn package 之
在本地target里会生成一个heisenberg-server-1.0.0.zip 文件
解压之 unzip heisenberg-server-1.0.0.zip
进入conf目录
有下面几个目录
conf
---log4j.xml
---rule.xml
---schema.xml
---server.xml
log4j.xml就不介绍了
sql_route.log就是分库表切分的时间
sql_execute.log 为sql总执行时间
server.xml
|
|
serverPort为服务端口，即对上层应用的端口
managerPort为管理端口，即管理的监听端口，用于操作服务器一些配置等
initExecutor 为初始化的线程个数
timerExecutor 心跳执行线程个数
managerExecutor管理执行线程个数
processors应用接收处理器核数
processorHandler 应用接收处理类个数
processorExecutor 应用接收处理线程个数
clusterHeartbeatUser和clusterHeartbeatPass 不必改，用于集群的认证方式使用
|
|
Brucexx为自定义应用用户名，st0078为自定义应用密码
Schemas为自定义schema,具体见schema.xml中，
这里的schemas可为多个，以逗号分隔
白名单限制：
|
|
schema.xml配置
mysql数据源
|
|
这里指定的mysql的数据源，后面$0-9是一种自定义的缩略写法
也可以在property里面定义多个location，比如：
|
|
效果是一样的
Shard结点配置
Shard结点相当于一个逻辑结点，提供给外部相关的schema，对应于数据源有
主/备/灾，
|
|
属性dataSource 第一个是主库，第二个备库，第三个灾库，需要多少配置多少个
读写分离规则rwRule，m和s代表读取的比例，表示主库读取为0,从库读取1，这样直接读写分离，如果是1:1的话相当读取各1：1的比例
池大小poolSize为到mysqlDB的连接数和心跳sql heartbeatSQL，无特殊需求保持不变
Schema配置
|
trans_shard 提供的schema,对应于server.xml中的名字 下面会有多个需要分库的表，
其中dbRuleList 为分库规则
分库规则dbRuleList可以有多个dbRule，当第一个不满足时，可以用第二个，当然这个效率不好，如果有规则区分，尽量再写一个rule， dbRule 最后的结果是表的前缀 比如分库分表 库名为db0-db9,那么这个dbRule渲染时
取到TRANS_ID 这个为后，在脚本里计算出取倒数第2位为库后缀 比如上图的分库为
分表规则配置
这个和上面分库一样了，以倒数1，2位为库的后缀 如下图：
有个潜规则就是 需要保证全局的表名不能重复 比如db0有个trans_tb00,db1就不能有叫trans_tb00的表
表初始化
需要初始化个表，其中key为db的下标索引，比如db0 的下标为0, list为每个库里的表后缀名
目录是为了初始化定义这些库表
如何使用呢？ 通过命令行 这里就不用讲了，wms_shard就是在server.xml里面配置的逻辑分库分表的数据源schema,应用只要访问这个就好了
show tables;也可以看到自己的一些表信息
ok.
mysql> select * from t_user_id_map; +-----------+---------------------------+-----------+------------+---------------------+---------------------+ | F_uid | F_uname | F_enabled | F_user_id | F_create_time | F_modify_time | +-----------+---------------------------+-----------+------------+---------------------+---------------------+ | 105001050 | @8230762802717b6a723fe9cd | 1 | 1287824017 | 2014-03-10 15:38:44 | 2014-03-10 15:38:44 | | 62000 | | 1 | 533885000 | 2014-03-26 23:02:31 | 2014-03-26 23:02:31 | | 86000 | | 1 | 237406000 | 2014-03-27 01:04:23 | 2014-03-27 01:04:23 | | 96000 | | 1 | 767684000 | 2014-03-27 00:30:32 | 2014-03-27 00:30:32 | | 130000 | | 1 | 506552000 | 2014-03-27 15:57:31 | 2014-03-27 15:57:31 | | 149000 | | 1 | 868483000 | 2014-03-27 15:50:09 | 2014-03-27 15:50:09 | | 179000 | | 1 | 245626000 | 2014-03-26 21:33:46 | 2014-03-26 21:33:46 | 当没有指定分库分表规则时，是进行的全表扫描，当然我们可以通过学习 mysql> explain select * from t_user_id_map; +-----------+----------------------------------- | DATA_NODE | SQL +-----------+----------------------------------- | wmsDN[0] | select * from t_user_id_map_00_0 | wmsDN[0] | select * from t_user_id_map_00_1 | wmsDN[0] | select * from t_user_id_map_00_2 | wmsDN[0] | select * from t_user_id_map_00_3 | wmsDN[0] | select * from t_user_id_map_00_4 | wmsDN[0] | select * from t_user_id_map_00_5 | wmsDN[0] | select * from t_user_id_map_00_6 | wmsDN[0] | select * from t_user_id_map_00_7 | wmsDN[0] | select * from t_user_id_map_00_8 | wmsDN[0] | select * from t_user_id_map_00_9 | wmsDN[1] | select * from t_user_id_map_01_0 | wmsDN[1] | select * from t_user_id_map_01_1 | wmsDN[1] | select * from t_user_id_map_01_2 | wmsDN[1] | select * from t_user_id_map_01_3 | wmsDN[1] | select * from t_user_id_map_01_4 | wmsDN[1] | select * from t_user_id_map_01_5 | wmsDN[1] | select * from t_user_id_map_01_6 | wmsDN[1] | select * from t_user_id_map_01_7 | wmsDN[1] | select * from t_user_id_map_01_8 | wmsDN[1] | select * from t_user_id_map_01_9 | wmsDN[2] | select * from t_user_id_map_02_0 .... 这边表很多，其中dataNode是我们里面对应的结点
mysql> select * from t_user_id_map where f_uid=196606999; +-----------+---------+-----------+-----------+---------------------+---------------------+ | F_uid | F_uname | F_enabled | F_user_id | F_create_time | F_modify_time | +-----------+---------+-----------+-----------+---------------------+---------------------+ | 196606999 | | 1 | 749331999 | 2014-04-04 14:46:58 | 2014-04-04 14:46:58 | +-----------+---------+-----------+-----------+---------------------+---------------------+ |
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發環境
Dreamweaver CS6
視覺化網頁開發工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
與MySQL中使用索引相比，全表掃描何時可以更快？
Apr 09, 2025 am 12:05 AM
全表掃描在MySQL中可能比使用索引更快，具體情況包括：1)數據量較小時；2)查詢返回大量數據時；3)索引列不具備高選擇性時；4)複雜查詢時。通過分析查詢計劃、優化索引、避免過度索引和定期維護表，可以在實際應用中做出最優選擇。
可以在 Windows 7 上安裝 mysql 嗎
Apr 08, 2025 pm 03:21 PM
是的，可以在 Windows 7 上安裝 MySQL，雖然微軟已停止支持 Windows 7，但 MySQL 仍兼容它。不過，安裝過程中需要注意以下幾點：下載適用於 Windows 的 MySQL 安裝程序。選擇合適的 MySQL 版本（社區版或企業版）。安裝過程中選擇適當的安裝目錄和字符集。設置 root 用戶密碼，並妥善保管。連接數據庫進行測試。注意 Windows 7 上的兼容性問題和安全性問題，建議升級到受支持的操作系統。
說明InnoDB全文搜索功能。
Apr 02, 2025 pm 06:09 PM
InnoDB的全文搜索功能非常强大，能够显著提高数据库查询效率和处理大量文本数据的能力。1）InnoDB通过倒排索引实现全文搜索，支持基本和高级搜索查询。2）使用MATCH和AGAINST关键字进行搜索，支持布尔模式和短语搜索。3）优化方法包括使用分词技术、定期重建索引和调整缓存大小，以提升性能和准确性。
InnoDB中的聚類索引和非簇索引（次級索引）之間的差異。
Apr 02, 2025 pm 06:25 PM
聚集索引和非聚集索引的區別在於：1.聚集索引將數據行存儲在索引結構中，適合按主鍵查詢和範圍查詢。 2.非聚集索引存儲索引鍵值和數據行的指針，適用於非主鍵列查詢。
mysql：簡單的概念，用於輕鬆學習
Apr 10, 2025 am 09:29 AM
MySQL是一個開源的關係型數據庫管理系統。 1）創建數據庫和表：使用CREATEDATABASE和CREATETABLE命令。 2）基本操作：INSERT、UPDATE、DELETE和SELECT。 3）高級操作：JOIN、子查詢和事務處理。 4）調試技巧：檢查語法、數據類型和權限。 5）優化建議：使用索引、避免SELECT*和使用事務。
mysql用戶和數據庫的關係
Apr 08, 2025 pm 07:15 PM
MySQL 數據庫中，用戶和數據庫的關係通過權限和表定義。用戶擁有用戶名和密碼，用於訪問數據庫。權限通過 GRANT 命令授予，而表由 CREATE TABLE 命令創建。要建立用戶和數據庫之間的關係，需創建數據庫、創建用戶，然後授予權限。
說明不同類型的MySQL索引（B樹，哈希，全文，空間）。
Apr 02, 2025 pm 07:05 PM
MySQL支持四種索引類型：B-Tree、Hash、Full-text和Spatial。 1.B-Tree索引適用於等值查找、範圍查詢和排序。 2.Hash索引適用於等值查找，但不支持範圍查詢和排序。 3.Full-text索引用於全文搜索，適合處理大量文本數據。 4.Spatial索引用於地理空間數據查詢，適用於GIS應用。
mysql 和 mariadb 可以共存嗎
Apr 08, 2025 pm 02:27 PM
MySQL 和 MariaDB 可以共存，但需要謹慎配置。關鍵在於為每個數據庫分配不同的端口號和數據目錄，並調整內存分配和緩存大小等參數。連接池、應用程序配置和版本差異也需要考慮，需要仔細測試和規劃以避免陷阱。在資源有限的情況下，同時運行兩個數據庫可能會導致性能問題。
