首頁 資料庫 mysql教程 基于 GlusterFS 的高可用 MySQL 数据库系统测试

基于 GlusterFS 的高可用 MySQL 数据库系统测试

Jun 07, 2016 pm 03:46 PM
glusterfs mysql 可用 基於 資料庫 高可用

MySQL 是使用最广泛的数据库之一,而 GlusterFS 是一个开源分布式文件系统。MySQL 的一个主要问题是存在单点故障,当MySQL节点发生故障时,整个业务系统将崩溃。MySQL replication,MySQL Cluster 和 MySQLGalera 都试图不同程度的解决这个问题,本文试图使

MySQL 是使用最广泛的数据库之一,而 GlusterFS 是一个开源分布式文件系统。MySQL 的一个主要问题是存在单点故障,当MySQL节点发生故障时,整个业务系统将崩溃。MySQL replication,MySQL Cluster 和 MySQL+Galera 都试图不同程度的解决这个问题,本文试图使用分布式文件系统 GlusterFS 来尝试解决 MySQL 的高可用性。

1. 安装 Ubuntu

首先我们搭建一个测试环境,在一台物理机(笔记本上)安装 2 个Ubuntu 13.10 虚拟机. 虚拟机软件可以使用VMWare的,也可以用VirtualBox。

虚拟机规范:
- 1 CPU
- 1G memory
- 2 Disks: 一块磁盘20G,用于安装系统,一块磁盘10G,留给 Gluster 使用。在安装的时候第二块磁盘可以留着,装完后用fdisk 分区并格式化。
- 其他设置: 保持2个VM配置一致,例如时区等。

安装完Ubuntu后可以做个 snapshot,系统崩溃后可以快速恢复。

2. 配置 Ubuntu

使用gluster和mysql前,先对ubuntu虚拟机做一些配置

2.1 network
安装之后虚拟机默认使用DHCP, 为了避免IP地址的变化,使用静态IP。

选择右上角的网络连接图标 -> 编辑连接

进入 IPv4 设置页面,选择 Manual 方法,并加入以下地址信息 (根据你自己的系统做适当的修改):
- Address: 192.168.53.218
- mask: 255.255.255.0
- Gateway: 192.168.53.2
- DNS: 192.168.53.2

如果不知道当前系统的 IP、网关和DNS,可以使用 nm-tool 显示系统的网络信息。

2.2 disk
在第二块磁盘上分区、创建文件系统,并mount

$ sudo fdisk /dev/sdb<br> n > w<br> $ sudo mkfs.ext4 /dev/sdb1<br> $ sudo mkdir -p /data/gv0/brick1<br> $ sudo vi /etc/fstab # 将下面这一行加入到 /etc/fstab 中。<br> /dev/sdb1 /data/gv0/brick1 ext4 defaults 1 2<br> $ sudo mount -a && mount

2.3 其他配置
2.3.1 sudoers
修改 sudoers 打开无密码访问。将下面一行加入到 /etc/sudoers, u1 是用户名,替换成你自己的用户名。

u1 ALL=(ALL:ALL) NOPASSWD: ALL<br> %sudo ALL=(ALL:ALL) NOPASSWD: ALL

2.3.2 ssh
$ sudo apt-get install ssh

3. 安装 gluster

首先安装 gluster 的依赖包, 如有需要,使用 apt-cache search 搜索包得名字。

$ sudo apt-get install -y flex bison openssl libssl-dev libreadline6 libreadline6-dev systemtap systemtap-sdt-dev

编译并安装最新的 gluster (目前最新版本是 3.4.2)

$ wget http://download.gluster.org/pub/gluster/glusterfs/3.4/3.4.2/glusterfs-3.4.2.tar.gz<br> $ tar zxf gluster-3.4.2.tar.gz<br> $ cd gluster-3.4.2<br> $ ./configure --enable-debug<br> $ make && sudo make install<br> $ sudo ldconfig<br> $ gluster --version
现在安装另一个虚拟机,可以做个snapshot,以免后面发生问题时可以快速恢复到可用状态。

安装之后,2台主机的主机名和IP地址信息:
- u1: 192.168.53.218
- u2: 192.168.53.221

4. 配置 Gluster replication (AFR) 并进行简单的测试

4.1 准备 bricks
bricks 是 gluster 的术语,是一个volume的基本组成部分,可以认为是主机上的一个目录。

在两个虚拟机上:

$ sudo mkdir -p /data/gv0/brick1/test

4.2 组建2个虚拟机组成的可信存储池
在 192.168.53.218 上执行下面命令

$ sudo gluster peer probe 192.168.53.221 # 替换为你的系统<br> $ sudo gluster peer status<br> Number of Peers: 1

Hostname: 192.168.53.221<br> Port: 24007<br> Uuid: e1de158a-1a81-4d6c-af55-b548d4c4c174<br> State: Peer in Cluster (Connected)

4.3 创建 replicated volume
在任意一台虚拟机上执行下面命令:

$ sudo gluster volume create testvol replica 2 192.168.53.218:/data/gv0/brick1/test 192.168.53.221:/data/gv0/brick1/test

// disable NFS (这一步是可选的)<br> $ sudo gluster volume set testvol nfs.disable on

$ sudo gluster volume start testvol<br> $ sudo gluster volume status

在一台虚拟机上(譬如 192.168.53.218 上)挂载创建的 gluster volume.

$ sudo mount -t glusterfs 192.168.53.218:/testvol /mnt/testvol

4.4 启动和停止 gluster 服务
- 启动: sudo /etc/init.d/glusterd start
- 停止: umount: sudo umount /path/to/dir
- 停止: volume: sudo gluster volume stop <volname></volname>
- 停止: glusterd: sudo /etc/init.d/glusterd stop

4.5 测试 Gluster 的 replication 功能
在前面挂载了 gluster volume 的虚拟机上创建一个文件:
$ echo "a\nb\n\c" > /mnt/testvol/test.txt

观察 brick 目录,test 文件应该出现在两个机器上的 /data/gv0/brick/test 目录下面。

$ cd /data/gv0/brick/test && rm test.txt
在一个brick目录内删除刚刚创建的文件,gluster 会自动恢复它。 (不是真正的全自动,只有在访问这个文件时才会恢复,否则gluster 不会恢复被删除的文件)

$ ls /data/gv0/brick/test/test.txt # gluster 会发现文件丢失了,并自动恢复。

4.5.1 由于 DNS 问题,文件不能自动恢复
在测试的过程中发现文件在一个brick上被删除后, gluster 不能自动恢复,并且log里面报告了大量的connection timeout、不能连接之类的错误。 阅读代码后返现 gluster 的自动恢复部分代码会使用 DNS, 尽管我们前面使用的都是 IP 地址。

而 Ubuntu 自带了一个小巧的 DNS server dnsmasq。它支持不在全局DNS内的局域网机器域名解析。 dnsmasq 用户场景是通过ADSL接入的家庭局域网。 也适合任何小型网络(小于1000个client)。 对这个测试而言最关键的是,它支持 /etc/hosts 配置文件。 Ubuntu 的network-manager 会自动启动 dnsmasq,然而默认它会忽略 /etc/hosts。 可以创建下面一个文件,使得这个文件生效:
$ cat /etc/NetworkManager/dnsmasq.d/hosts.conf<br> addn-hosts=/etc/hosts

$ sudo service networking restart<br> $ sudo /etc/init.d/dns-clean restart

修改后要求下面的几个命令输出相同的IP地址:

$ host u1<br> $ nslookup u1<br> $ getent ahosts u1

5. 安装 mysql

在所有虚拟机上上创建 gluster brick 目录,用来保存 mysql data。

$ mkdir -p /data/gv0/brick1/mysqldata
创建一个新的 volume:
$ sudo gluster volume create mysqldata replica 2 192.168.53.218:/data/gv0/brick1/mysqldata 192.168.53.221:/data/gv0/brick1/mysqldata

启动新创建的 volume:
$ sudo gluster volume start mysqldata

登录一台机器,mount gluster volume
$ sudo mount -t glusterfs 192.168.53.218:/mysqldata /mnt/mysqldata

安装 mysql 并使用新mount的volume:
$ 首先下载 MySQL 二进制包<br> $ sudo groupadd mysql<br> $ sudo useradd -r -g mysql mysql<br> $ cd /usr/local<br> $ sudo tar zxvf /path/to/mysql-VERSION-OS.tar.gz<br> $ sudo ln -s full-path-to-mysql-VERSION-OS mysql<br> $ cd /usr/local/mysql<br> $ sudo chown -R mysql:mysql .

$ sudo apt-get install -y libaio-dev # mysql 需要libaio.so
# 以上操作需要在所有 VM 上执行。

修改最大连接数, 这在后面的测试中会使用:
mysql> show variables like “max_connections”;
mysql> set global max_connections = 300; # 重启就失效了。
永久修改的办法是加入到配置文件中:
max_connections = 300
安装 mysql
$ sudo /usr/local/mysql/scripts/mysql_install_db --user=mysql<br> --basedir=/usr/local/mysql --datadir=/mnt/mysqldata<br> --defaults-file=/usr/local/mysql/my.cnf

启动mysql:
$ sudo /usr/local/mysql/support-files/mysql.server start<br> --datadir=/mnt/mysqldata --log-error=/usr/local/mysql/mysql.error

配置mysql:
$ /usr/local/mysql/bin/mysqladmin -u root password ''<br> $ echo 'bind-address: 0.0.0.0' >> /usr/local/mysql/my.cnf

$ /usr/local/mysql/bin/mysql -uroot # 执行下面的语句.

CREATE USER 'yydzero'@'localhost' IDENTIFIED BY 'goodluck';<br> GRANT ALL PRIVILEGES ON *.* TO 'yydzero'@'localhost' WITH GRANT OPTION;<br> CREATE USER 'yydzero'@'%' IDENTIFIED BY 'goodluck';<br> GRANT ALL PRIVILEGES ON *.* TO 'yydzero'@'%' WITH GRANT OPTION;

6. 测试 MySQL + GlusterFS

mysql> create database gluster<br> mysql> use gluster<br> mysql> CREATE TABLE IF NOT EXISTS test1 (i int, v varchar(1024), bb blob, INDEX USING BTREE (i))<br> mysql> INSERT INTO test1 (i, v) VALUES (1, 'x9byod')<br> mysql> SELECT * FROM test1;

这样我们就可以在 Gluster 分布式文件系统上运行 MySQL 了。后面我们将在这个系统上进行高并发和高故障率的测试,以验证Gluster+MySQL的稳定性。

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora:巫婆樹的耳語 - 如何解鎖抓鉤
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1321
25
PHP教程
1269
29
C# 教程
1249
24
MySQL和PhpMyAdmin:核心功能和功能 MySQL和PhpMyAdmin:核心功能和功能 Apr 22, 2025 am 12:12 AM

MySQL和phpMyAdmin是強大的數據庫管理工具。 1)MySQL用於創建數據庫和表、執行DML和SQL查詢。 2)phpMyAdmin提供直觀界面進行數據庫管理、表結構管理、數據操作和用戶權限管理。

甲骨文在商業世界中的作用 甲骨文在商業世界中的作用 Apr 23, 2025 am 12:01 AM

Oracle不僅是數據庫公司,還是雲計算和ERP系統的領導者。 1.Oracle提供從數據庫到雲服務和ERP系統的全面解決方案。 2.OracleCloud挑戰AWS和Azure,提供IaaS、PaaS和SaaS服務。 3.Oracle的ERP系統如E-BusinessSuite和FusionApplications幫助企業優化運營。

在MySQL中解釋外鍵的目的。 在MySQL中解釋外鍵的目的。 Apr 25, 2025 am 12:17 AM

在MySQL中,外鍵的作用是建立表與表之間的關係,確保數據的一致性和完整性。外鍵通過引用完整性檢查和級聯操作維護數據的有效性,使用時需注意性能優化和避免常見錯誤。

比較和對比Mysql和Mariadb。 比較和對比Mysql和Mariadb。 Apr 26, 2025 am 12:08 AM

MySQL和MariaDB的主要區別在於性能、功能和許可證:1.MySQL由Oracle開發,MariaDB是其分支。 2.MariaDB在高負載環境中性能可能更好。 3.MariaDB提供了更多的存儲引擎和功能。 4.MySQL採用雙重許可證,MariaDB完全開源。選擇時應考慮現有基礎設施、性能需求、功能需求和許可證成本。

SQL與MySQL:澄清兩者之間的關係 SQL與MySQL:澄清兩者之間的關係 Apr 24, 2025 am 12:02 AM

SQL是一種用於管理關係數據庫的標準語言,而MySQL是一個使用SQL的數據庫管理系統。 SQL定義了與數據庫交互的方式,包括CRUD操作,而MySQL實現了SQL標準並提供了額外的功能,如存儲過程和触發器。

REDIS:了解其架構和目的 REDIS:了解其架構和目的 Apr 26, 2025 am 12:11 AM

Redis是一种内存数据结构存储系统,主要用作数据库、缓存和消息代理。它的核心特点包括单线程模型、I/O多路复用、持久化机制、复制与集群功能。Redis在实际应用中常用于缓存、会话存储和消息队列,通过选择合适的数据结构、使用管道和事务、以及进行监控和调优,可以显著提升其性能。

如何安全地將包含函數和正則表達式的JavaScript對象存儲到數據庫並恢復? 如何安全地將包含函數和正則表達式的JavaScript對象存儲到數據庫並恢復? Apr 19, 2025 pm 11:09 PM

安全地處理JSON中的函數和正則表達式在前端開發中,經常需要將JavaScript...

MySQL:數據庫,PHPMYADMIN:管理接口 MySQL:數據庫,PHPMYADMIN:管理接口 Apr 29, 2025 am 12:44 AM

MySQL和phpMyAdmin可以通過以下步驟進行有效管理:1.創建和刪除數據庫:在phpMyAdmin中點擊幾下即可完成。 2.管理表:可以創建表、修改結構、添加索引。 3.數據操作:支持插入、更新、刪除數據和執行SQL查詢。 4.導入導出數據:支持SQL、CSV、XML等格式。 5.優化和監控:使用OPTIMIZETABLE命令優化表,並利用查詢分析器和監控工具解決性能問題。

See all articles