基于 GlusterFS 的高可用 MySQL 数据库系统测试
MySQL 是使用最广泛的数据库之一,而 GlusterFS 是一个开源分布式文件系统。MySQL 的一个主要问题是存在单点故障,当MySQL节点发生故障时,整个业务系统将崩溃。MySQL replication,MySQL Cluster 和 MySQLGalera 都试图不同程度的解决这个问题,本文试图使
MySQL 是使用最广泛的数据库之一,而 GlusterFS 是一个开源分布式文件系统。MySQL 的一个主要问题是存在单点故障,当MySQL节点发生故障时,整个业务系统将崩溃。MySQL replication,MySQL Cluster 和 MySQL+Galera 都试图不同程度的解决这个问题,本文试图使用分布式文件系统 GlusterFS 来尝试解决 MySQL 的高可用性。
1. 安装 Ubuntu
首先我们搭建一个测试环境,在一台物理机(笔记本上)安装 2 个Ubuntu 13.10 虚拟机. 虚拟机软件可以使用VMWare的,也可以用VirtualBox。
虚拟机规范:
- 1 CPU
- 1G memory
- 2 Disks: 一块磁盘20G,用于安装系统,一块磁盘10G,留给 Gluster 使用。在安装的时候第二块磁盘可以留着,装完后用fdisk 分区并格式化。
- 其他设置: 保持2个VM配置一致,例如时区等。
安装完Ubuntu后可以做个 snapshot,系统崩溃后可以快速恢复。
2. 配置 Ubuntu
使用gluster和mysql前,先对ubuntu虚拟机做一些配置
2.1 network
安装之后虚拟机默认使用DHCP, 为了避免IP地址的变化,使用静态IP。
选择右上角的网络连接图标 -> 编辑连接
进入 IPv4 设置页面,选择 Manual 方法,并加入以下地址信息 (根据你自己的系统做适当的修改):
- Address: 192.168.53.218
- mask: 255.255.255.0
- Gateway: 192.168.53.2
- DNS: 192.168.53.2
如果不知道当前系统的 IP、网关和DNS,可以使用 nm-tool 显示系统的网络信息。
2.2 disk
在第二块磁盘上分区、创建文件系统,并mount
$ sudo fdisk /dev/sdb<br>
n > w<br>
$ sudo mkfs.ext4 /dev/sdb1<br>
$ sudo mkdir -p /data/gv0/brick1<br>
$ sudo vi /etc/fstab # 将下面这一行加入到 /etc/fstab 中。<br>
/dev/sdb1 /data/gv0/brick1 ext4 defaults 1 2<br>
$ sudo mount -a && mount
2.3 其他配置
2.3.1 sudoers
修改 sudoers 打开无密码访问。将下面一行加入到 /etc/sudoers, u1 是用户名,替换成你自己的用户名。
u1 ALL=(ALL:ALL) NOPASSWD: ALL<br>
%sudo ALL=(ALL:ALL) NOPASSWD: ALL
2.3.2 ssh
$ sudo apt-get install ssh
3. 安装 gluster
首先安装 gluster 的依赖包, 如有需要,使用 apt-cache search 搜索包得名字。
$ sudo apt-get install -y flex bison openssl libssl-dev libreadline6 libreadline6-dev
systemtap systemtap-sdt-dev
编译并安装最新的 gluster (目前最新版本是 3.4.2)
$ wget http://download.gluster.org/pub/gluster/glusterfs/3.4/3.4.2/glusterfs-3.4.2.tar.gz<br>
$ tar zxf gluster-3.4.2.tar.gz<br>
$ cd gluster-3.4.2<br>
$ ./configure --enable-debug<br>
$ make && sudo make install<br>
$ sudo ldconfig<br>
$ gluster --version
现在安装另一个虚拟机,可以做个snapshot,以免后面发生问题时可以快速恢复到可用状态。
安装之后,2台主机的主机名和IP地址信息:
- u1: 192.168.53.218
- u2: 192.168.53.221
4. 配置 Gluster replication (AFR) 并进行简单的测试
4.1 准备 bricks
bricks 是 gluster 的术语,是一个volume的基本组成部分,可以认为是主机上的一个目录。
在两个虚拟机上:
$ sudo mkdir -p /data/gv0/brick1/test
4.2 组建2个虚拟机组成的可信存储池
在 192.168.53.218 上执行下面命令
$ sudo gluster peer probe 192.168.53.221 # 替换为你的系统<br>
$ sudo gluster peer status<br>
Number of Peers: 1
Hostname: 192.168.53.221<br>
Port: 24007<br>
Uuid: e1de158a-1a81-4d6c-af55-b548d4c4c174<br>
State: Peer in Cluster (Connected)
4.3 创建 replicated volume
在任意一台虚拟机上执行下面命令:
$ sudo gluster volume create testvol replica 2 192.168.53.218:/data/gv0/brick1/test 192.168.53.221:/data/gv0/brick1/test
// disable NFS (这一步是可选的)<br>
$ sudo gluster volume set testvol nfs.disable on
$ sudo gluster volume start testvol<br>
$ sudo gluster volume status
在一台虚拟机上(譬如 192.168.53.218 上)挂载创建的 gluster volume.
$ sudo mount -t glusterfs 192.168.53.218:/testvol /mnt/testvol
4.4 启动和停止 gluster 服务
- 启动: sudo /etc/init.d/glusterd start
- 停止: umount: sudo umount /path/to/dir
- 停止: volume: sudo gluster volume stop <volname></volname>
- 停止: glusterd: sudo /etc/init.d/glusterd stop
4.5 测试 Gluster 的 replication 功能
在前面挂载了 gluster volume 的虚拟机上创建一个文件:
$ echo "a\nb\n\c" > /mnt/testvol/test.txt
观察 brick 目录,test 文件应该出现在两个机器上的 /data/gv0/brick/test 目录下面。
$ cd /data/gv0/brick/test && rm test.txt
在一个brick目录内删除刚刚创建的文件,gluster 会自动恢复它。 (不是真正的全自动,只有在访问这个文件时才会恢复,否则gluster 不会恢复被删除的文件)
$ ls /data/gv0/brick/test/test.txt # gluster 会发现文件丢失了,并自动恢复。
4.5.1 由于 DNS 问题,文件不能自动恢复
在测试的过程中发现文件在一个brick上被删除后, gluster 不能自动恢复,并且log里面报告了大量的connection timeout、不能连接之类的错误。 阅读代码后返现 gluster 的自动恢复部分代码会使用 DNS, 尽管我们前面使用的都是 IP 地址。
而 Ubuntu 自带了一个小巧的 DNS server dnsmasq。它支持不在全局DNS内的局域网机器域名解析。 dnsmasq 用户场景是通过ADSL接入的家庭局域网。 也适合任何小型网络(小于1000个client)。 对这个测试而言最关键的是,它支持 /etc/hosts 配置文件。 Ubuntu 的network-manager 会自动启动 dnsmasq,然而默认它会忽略 /etc/hosts。 可以创建下面一个文件,使得这个文件生效:
$ cat /etc/NetworkManager/dnsmasq.d/hosts.conf<br>
addn-hosts=/etc/hosts
$ sudo service networking restart<br>
$ sudo /etc/init.d/dns-clean restart
修改后要求下面的几个命令输出相同的IP地址:
$ host u1<br>
$ nslookup u1<br>
$ getent ahosts u1
5. 安装 mysql
在所有虚拟机上上创建 gluster brick 目录,用来保存 mysql data。
$ mkdir -p /data/gv0/brick1/mysqldata
创建一个新的 volume:
$ sudo gluster volume create mysqldata replica 2 192.168.53.218:/data/gv0/brick1/mysqldata
192.168.53.221:/data/gv0/brick1/mysqldata
启动新创建的 volume:
$ sudo gluster volume start mysqldata
登录一台机器,mount gluster volume
$ sudo mount -t glusterfs 192.168.53.218:/mysqldata /mnt/mysqldata
安装 mysql 并使用新mount的volume:
$ 首先下载 MySQL 二进制包<br>
$ sudo groupadd mysql<br>
$ sudo useradd -r -g mysql mysql<br>
$ cd /usr/local<br>
$ sudo tar zxvf /path/to/mysql-VERSION-OS.tar.gz<br>
$ sudo ln -s full-path-to-mysql-VERSION-OS mysql<br>
$ cd /usr/local/mysql<br>
$ sudo chown -R mysql:mysql .
$ sudo apt-get install -y libaio-dev
# mysql 需要libaio.so
# 以上操作需要在所有 VM 上执行。
修改最大连接数, 这在后面的测试中会使用:
mysql> show variables like “max_connections”;
mysql> set global max_connections = 300; # 重启就失效了。
永久修改的办法是加入到配置文件中:
max_connections = 300
安装 mysql
$ sudo /usr/local/mysql/scripts/mysql_install_db --user=mysql<br>
--basedir=/usr/local/mysql --datadir=/mnt/mysqldata<br>
--defaults-file=/usr/local/mysql/my.cnf
启动mysql:
$ sudo /usr/local/mysql/support-files/mysql.server start<br>
--datadir=/mnt/mysqldata --log-error=/usr/local/mysql/mysql.error
配置mysql:
$ /usr/local/mysql/bin/mysqladmin -u root password ''<br>
$ echo 'bind-address: 0.0.0.0' >> /usr/local/mysql/my.cnf
$ /usr/local/mysql/bin/mysql -uroot # 执行下面的语句.
CREATE USER 'yydzero'@'localhost' IDENTIFIED BY 'goodluck';<br>
GRANT ALL PRIVILEGES ON *.* TO 'yydzero'@'localhost' WITH GRANT OPTION;<br>
CREATE USER 'yydzero'@'%' IDENTIFIED BY 'goodluck';<br>
GRANT ALL PRIVILEGES ON *.* TO 'yydzero'@'%' WITH GRANT OPTION;
6. 测试 MySQL + GlusterFS
mysql> create database gluster<br>
mysql> use gluster<br>
mysql> CREATE TABLE IF NOT EXISTS test1 (i int, v varchar(1024), bb blob, INDEX USING BTREE (i))<br>
mysql> INSERT INTO test1 (i, v) VALUES (1, 'x9byod')<br>
mysql> SELECT * FROM test1;
这样我们就可以在 Gluster 分布式文件系统上运行 MySQL 了。后面我们将在这个系统上进行高并发和高故障率的测试,以验证Gluster+MySQL的稳定性。

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

MySQL在Web應用中的主要作用是存儲和管理數據。 1.MySQL高效處理用戶信息、產品目錄和交易記錄等數據。 2.通過SQL查詢,開發者能從數據庫提取信息生成動態內容。 3.MySQL基於客戶端-服務器模型工作,確保查詢速度可接受。

Laravel 是一款 PHP 框架,用於輕鬆構建 Web 應用程序。它提供一系列強大的功能,包括:安裝: 使用 Composer 全局安裝 Laravel CLI,並在項目目錄中創建應用程序。路由: 在 routes/web.php 中定義 URL 和處理函數之間的關係。視圖: 在 resources/views 中創建視圖以呈現應用程序的界面。數據庫集成: 提供與 MySQL 等數據庫的開箱即用集成,並使用遷移來創建和修改表。模型和控制器: 模型表示數據庫實體,控制器處理 HTTP 請求。

在開發一個小型應用時,我遇到了一個棘手的問題:需要快速集成一個輕量級的數據庫操作庫。嘗試了多個庫後,我發現它們要么功能過多,要么兼容性不佳。最終,我找到了minii/db,這是一個基於Yii2的簡化版本,完美地解決了我的問題。

文章摘要:本文提供了詳細分步說明,指導讀者如何輕鬆安裝 Laravel 框架。 Laravel 是一個功能強大的 PHP 框架,它 упростил 和加快了 web 應用程序的開發過程。本教程涵蓋了從系統要求到配置數據庫和設置路由等各個方面的安裝過程。通過遵循這些步驟,讀者可以快速高效地為他們的 Laravel 項目打下堅實的基礎。

MySQL和phpMyAdmin是強大的數據庫管理工具。 1)MySQL用於創建數據庫和表、執行DML和SQL查詢。 2)phpMyAdmin提供直觀界面進行數據庫管理、表結構管理、數據操作和用戶權限管理。

Oracle不僅是數據庫公司,還是雲計算和ERP系統的領導者。 1.Oracle提供從數據庫到雲服務和ERP系統的全面解決方案。 2.OracleCloud挑戰AWS和Azure,提供IaaS、PaaS和SaaS服務。 3.Oracle的ERP系統如E-BusinessSuite和FusionApplications幫助企業優化運營。

MySQL与其他编程语言相比,主要用于存储和管理数据,而其他语言如Python、Java、C 则用于逻辑处理和应用开发。MySQL以其高性能、可扩展性和跨平台支持著称,适合数据管理需求,而其他语言在各自领域如数据分析、企业应用和系统编程中各有优势。

MySQL的基本操作包括創建數據庫、表格,及使用SQL進行數據的CRUD操作。 1.創建數據庫:CREATEDATABASEmy_first_db;2.創建表格:CREATETABLEbooks(idINTAUTO_INCREMENTPRIMARYKEY,titleVARCHAR(100)NOTNULL,authorVARCHAR(100)NOTNULL,published_yearINT);3.插入數據:INSERTINTObooks(title,author,published_year)VA
