首页 数据库 mysql教程 利用gearman实现redis缓存mysql

利用gearman实现redis缓存mysql

Jun 07, 2016 pm 02:53 PM
gearman mysql redis 使用 实现 缓存

环境: centos6.5 mysql5.6 gearman简介: Gearman是一个支持分布式的任务分发框架。设计简洁,获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分: Gearman Job Server:Gearman核心程序,以守护进程形式运行在后台 Gearman Client:可以理解为

环境:

    centos6.5

    mysql5.6

gearman简介:

        Gearman是一个支持分布式的任务分发框架。设计简洁,获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分:


    • Gearman Job Server:Gearman核心程序,以守护进程形式运行在后台

    • Gearman Client:可以理解为任务的收件员,比如我要在后台执行一个发送邮件的任务,可以在程序中调用一个Gearman Client并传入邮件的信息,然后就可以将执行结果立即展示给用户,而任务本身会慢慢在后台运行。

    • Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,Gearman Worker接收到Gearman Client传递的任务内容后,会按顺序处理。

设计思路:

    首先利用mysql UDF(通过lib_mysqludf_jsongearman-mysql-udf的组合实现)在mysql中的数据发生改变时触动触发器将数据传入Gearman中,这时的mysql相当于Gearman的clinet。然后运行自己编写的php程序作为worker,将Gearman中的数据传到Redis中去,这时的Redis相当于是Gearman的consumer。


1、安装gearman

    实验中的系统yum源在centos6.5自带的网络yum源的基础上,增加了epel的源,EPEL (Extra Packages for Enterprise Linux,企业版Linux的额外软件包) 是Fedora小组维护的一个软件仓库项目,为RHEL/CentOS提供他们默认不提供的软件包。使用这个源可以免去很多麻烦,省去源码编译的麻烦,需要注意的是,不论是使用centos自带的网络yum源还是epel扩展源,都需要你的IP能够访问到公网。

    安装gearman、php、php的gearman扩展、nc工具

yum install -y php-pecl-gearman libgearman  libgearman-devel gearmand nc
登录后复制

启动gearman服务

/etc/init.d/gearmand start
登录后复制

验证gearman是否成功启动,如果返回的结果中有4730端口,那么表示服务已经正常启动了

[root@hadoop1 ~]# netstat -alnutp |grep gearman
登录后复制

2、模拟Gearman的工作原理:

使用下列命令查看Gearman的队列

watch -n 1 "(echo status; sleep 0.1) | nc 127.0.0.1 4730"
登录后复制

结果如下

writeLog        0       0       0
登录后复制

四列含义:1-任务名称;2-等待队列任务数;3-运行中的任务数;4-正在运行的worker进程数;


编译一段php代码模拟Gearman的Client:client.php

<?php
    $client = new GearmanClient();
    $client->addServer();
    $client->doBackground('writeLog', 'Log content');
    echo '文件已经在后台操作';
    echo "\n";
登录后复制

执行client.php

php client.php
登录后复制

这时,再次查看Gearman的队列,发现等待队列中有一个任务

writeLog        1       0       0
登录后复制


编写一段php代码模拟Gearman的Worker:worker.php

该worker的作用是将客户端传递给Gearman的字符串'Log content'写入到当前目录下的gearman.log文件中

<?php
    $worker = new GearmanWorker();
    $worker->addServer();
    $worker->addFunction('writeLog', 'writeLog');
    while($worker->work());

    function writeLog($job)
    {
        $log = $job->workload();
        file_put_contents(__DIR__ . '/gearman.log', $log . "\n", FILE_APPEND | LOCK_EX);
    }
登录后复制

以nohup的方式后台启动worker.php

nohup php worker.php &
登录后复制

再次查看Gearman的队列,发现等待的任务变成0,worker进程变成了1,gearman.log有了内容

writeLog        0       0       1
登录后复制
[root@hadoop1 ~]# cat gearman.log 
Log content
登录后复制

3、安装mysql-server、mysql、php-mysql(php连接mysql的驱动,非必须,这里是为了稍后用程序比较从Redis和Mysql中分别读取数据的效率)。实验中,由于我的机子上之前已将安装了mysql5.6,所以就直接使用mysql5.6做实验了。当然也可以使用yum开安装mysql,可能安装的mysql版本不是5.6,但是完全没有关系。

安装mysql相关软件

yum install -y mysql-server mysql php-mysql
登录后复制

启动mysql

/etc/init.d/mysql start
登录后复制

4、安装lib_mysqludf_json

wget  https://github.com/mysqludf/lib_mysqludf_json/archive/master.zip
mv master master.zip
unzip master.zip
cd lib_mysqludf_json-master
rm -rf lib_mysqludf_json.so 
gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c
登录后复制

这时重新编译生成了lib_mysqludf_json.so,然后需要把lib_mysqludf_json.so拷贝到mysql的插件目录下,查看mysql的插件目录:

[root@hadoop1 ~]# mysql -u root -pupbjsxt --execute="show variables like '%plugin%';"    
+---------------+--------------------------+
| Variable_name | Value                    |
+---------------+--------------------------+
| plugin_dir    | /usr/lib64/mysql/plugin/ |
+---------------+--------------------------+
登录后复制
[root@hadoop1 lib_mysqludf_json-master]# cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/
登录后复制

5、安装gearman-mysql-udf

wget https://launchpad.net/gearman-mysql-udf/trunk/0.6/+download/gearman-mysql-udf-0.6.tar.gz   
tar xf gearman-mysql-udf-0.6.tar.gz -C ./
cd gearman-mysql-udf-0.6
./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/lib64/mysql/plugin/
make && make install
登录后复制

该插件直接安装到了mysql的插件目录下。

6、连入mysql,创建对应的function、trigger及设置gearman server信息

[root@hadoop1 ~]# mysql -u root -p****** 
mysql> CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';
mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so';
mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so'

## 为javashop中的test表建立触发器
mysql> use javashop;
mysql> describe test;
+-------+----------+------+-----+---------+-------+
| Field | Type     | Null | Key | Default | Extra |
+-------+----------+------+-----+---------+-------+
| id    | int(11)  | YES  |     | NULL    |       |
| name  | char(20) | YES  |     | NULL    |       |
+-------+----------+------+-----+---------+-------+
2 rows in set (0.00 sec)
mysql> source trigger.sql

## 设置gearman server信息
mysql>SELECT gman_servers_set('127.0.0.1:4730');
登录后复制

trigger.sql脚本文件内容如下

DELIMITER $$
CREATE TRIGGER datatoredis AFTER UPDATE ON test  FOR EACH ROW BEGIN
    SET @ret=gman_do_background('syncToRedis', json_object(NEW.id as `id`, NEW.name as `name`)); 
  END$$
DELIMITER ;
登录后复制

7、在mysql中更新一条数据,然后查看gearman的队列

mysql> update test set name='redis' where id=10;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0
登录后复制
writeLog        0       0       1
syncToRedis     1       0       0
登录后复制

可见mysql触发器已经成功的将数据传入到gearman中了。

8、安装redis、php-pecl-redis(php连接redis的驱动)

yum install php-pecl-redis redis -y
登录后复制

启动redis

/etc/init.d/redis   start
登录后复制

登录redis客户端,查看当前内存中的数据

[root@hadoop1 ~]# redis-cli 
redis 127.0.0.1:6379> keys *
(empty list or set)
登录后复制

这时,redis中并没有数据。

9、编写一个worker程序,负责将gearman中的数据传入到redis中去:redis_worker.php

<?php
    $worker = new GearmanWorker();
    $worker->addServer();
    $worker->addFunction('syncToRedis', 'syncToRedis');

    $redis = new Redis();
    $redis->connect('127.0.0.1');

    while($worker->work());

    function syncToRedis($job)
    {
        global $redis;
        $workString = $job->workload();
        $work = json_decode($workString);
        if(!isset($work->id)){
                return false;
        }
        $redis->set($work->id, $workString);
    }
登录后复制

10、以nohup的方式后台运行redis_worker.php

nohup php redis_worker.php &
登录后复制

这时,再查看gearman的队列

writeLog        0       0       1
syncToRedis     0       0       1
登录后复制

发现syncToRedis任务之前等待的任务数变为了0,正在运行的worker进程数变为了1。

检查redis中是否缓存了数据

[root@hadoop1 ~]# redis-cli 
redis 127.0.0.1:6379> keys *
1) "10"
redis 127.0.0.1:6379> get 10
"{\"id\":10,\"name\":\"redis\"}"
登录后复制

发现redis中已经成功的缓存了mysql中更新的数据,至此功能实现。


11、从redis中读取数据和从mysql中读取数据性能比较

编写php代码,从redis中读取数据:php_redis.php

<?php  
    $stime=microtime(true); //获取程序开始执行的时间  

    $redis = new Redis(); 
    $redis->connect('127.0.0.1'); 
    echo $redis->get('10');  
    echo "\n";
    $redis->close(); 

    $etime=microtime(true);//获取程序执行结束的时间  

    $total=$etime-$stime;   //计算差值  
    echo "$total".'秒';  
    echo "\n";
?>
登录后复制

编写php代码,从mysql中读取数据:php_mysql.php

<?php
    $stime=microtime(true); //获取程序开始执行的时间  
    $con = mysql_connect("127.0.0.1","root","******");
    $r2 = mysql_select_db("javashop");

    $result = mysql_query("SELECT * FROM test limit 1");
    while ($row = mysql_fetch_array($result)) {
        echo $row['id'] . " --> " . $row['name'];
        echo "\n";
    }
    mysql_close($con);

    $etime=microtime(true);//获取程序执行结束的时间  

    $total=$etime-$stime;   //计算差值  
    echo "$total".'秒';  
    echo "\n"
?>
登录后复制

分别运行两个php程序

[root@hadoop1 ~]# php php_redis.php 
{"id":10,"name":"redis"}
0.00059199333190918秒

[root@hadoop1 ~]# php php_mysql.php 
10 --> redis
0.0043718814849854秒

[root@hadoop1 ~]# bc <<< 0.0043718814849854/0.00059199333190918
7
登录后复制

通过对一条记录的查询,可以发现,从mysql中获取数据的时长是redis中获取数据时长的7倍,可见性能的提升几乎达一个数量级。


注意点:

亲测印证了mysql在重启后会丢失之前设置的gearman server的信息,解决办法如下:

在mysql的datadir目录下创建init_file.sql文件,内容为gearman server的信息的设置

echo  "SELECT gman_servers_set('127.0.0.1:4730');" > /var/lib/mysql/init_file.sql
登录后复制

然后在mysql的配置文件的[mysqld]项中添加如下内容

init-file=/var/lib/mysql/init_file.sql
登录后复制

    然后重启mysql,更新一条记录再试试看!


参考:http://avnpc.com/pages/mysql-replication-to-redis-by-gearman


PS:完成了第一篇博客,希望大家多多指教,祝生活愉快!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

docker怎么启动mysql docker怎么启动mysql Apr 15, 2025 pm 12:09 PM

在 Docker 中启动 MySQL 的过程包含以下步骤:拉取 MySQL 镜像创建并启动容器,设置根用户密码并映射端口验证连接创建数据库和用户授予对数据库的所有权限

MySQL的角色:Web应用程序中的数据库 MySQL的角色:Web应用程序中的数据库 Apr 17, 2025 am 12:23 AM

MySQL在Web应用中的主要作用是存储和管理数据。1.MySQL高效处理用户信息、产品目录和交易记录等数据。2.通过SQL查询,开发者能从数据库提取信息生成动态内容。3.MySQL基于客户端-服务器模型工作,确保查询速度可接受。

laravel入门实例 laravel入门实例 Apr 18, 2025 pm 12:45 PM

Laravel 是一款 PHP 框架,用于轻松构建 Web 应用程序。它提供一系列强大的功能,包括:安装: 使用 Composer 全局安装 Laravel CLI,并在项目目录中创建应用程序。路由: 在 routes/web.php 中定义 URL 和处理函数之间的关系。视图: 在 resources/views 中创建视图以呈现应用程序的界面。数据库集成: 提供与 MySQL 等数据库的开箱即用集成,并使用迁移来创建和修改表。模型和控制器: 模型表示数据库实体,控制器处理 HTTP 请求。

centos7如何安装mysql centos7如何安装mysql Apr 14, 2025 pm 08:30 PM

优雅安装 MySQL 的关键在于添加 MySQL 官方仓库。具体步骤如下:下载 MySQL 官方 GPG 密钥,防止钓鱼攻击。添加 MySQL 仓库文件:rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm更新 yum 仓库缓存:yum update安装 MySQL:yum install mysql-server启动 MySQL 服务:systemctl start mysqld设置开机自启动

centos安装mysql centos安装mysql Apr 14, 2025 pm 08:09 PM

在 CentOS 上安装 MySQL 涉及以下步骤:添加合适的 MySQL yum 源。执行 yum install mysql-server 命令以安装 MySQL 服务器。使用 mysql_secure_installation 命令进行安全设置,例如设置 root 用户密码。根据需要自定义 MySQL 配置文件。调整 MySQL 参数和优化数据库以提升性能。

解决数据库连接问题:使用minii/db库的实际案例 解决数据库连接问题:使用minii/db库的实际案例 Apr 18, 2025 am 07:09 AM

在开发一个小型应用时,我遇到了一个棘手的问题:需要快速集成一个轻量级的数据库操作库。尝试了多个库后,我发现它们要么功能过多,要么兼容性不佳。最终,我找到了minii/db,这是一个基于Yii2的简化版本,完美地解决了我的问题。

centos7 如何安装redis centos7 如何安装redis Apr 14, 2025 pm 08:21 PM

从 Redis 官方源下载源码包编译安装,保证最新稳定版本,可个性化定制。具体步骤如下:更新软件包列表创建 Redis 目录下载 Redis 源码包解压源码包编译安装配置并修改 Redis 配置启动 Redis检查启动状态

MySQL与其他编程语言:一种比较 MySQL与其他编程语言:一种比较 Apr 19, 2025 am 12:22 AM

MySQL与其他编程语言相比,主要用于存储和管理数据,而其他语言如Python、Java、C 则用于逻辑处理和应用开发。 MySQL以其高性能、可扩展性和跨平台支持着称,适合数据管理需求,而其他语言在各自领域如数据分析、企业应用和系统编程中各有优势。

See all articles