php安装gearman扩展实现异步分步式任务
一、简介
Gearman是一个分发任务的程序框架,它会对作业进行排队自动分配到一系列机器上。gearman跨语言跨平台,很方便的实现异步后台任务。php官方收录:http://php.net/manual/zh/book.gearman.php
如上图,一个Gearman请求的处理过程涉及三个角色:Client -> Job -> Worker。
Client:请求的发起者,可以是C,PHP,Perl,MySQL UDF等等。
Job:请求的调度者,用来负责协调把Client发出的请求转发给合适的Work。
Worker:请求的处理者,可以是C,PHP,Perl等等。
二、安装
1、安装服务器端:
官方下载,请到https://launchpad.net/gearmand。
yum install boost-devel* gperf* libevent-devel* libuuid-devel
wget https://launchpad.net/gearmand/1.2/1.1.12/+download/gearmand-1.1.12.tar.gz
tar zxvf gearmand…
cd gearmand …
./configure
make && make install
安装该扩展需要先安装一些依赖,建议直接默认./configure,不要指定路径等。
常见问题1:提示找不到boost>=1.39,明明已经安装了,这里应该是没有安装gcc-c++,有的机器有gcc却不一定带有gcc-c++。yum install gcc-c++应该就可以了。
常见问题2:安装完成后启动不成功,gearmand -d或者gearmand -d -u root都启动不起来。gearmand -vvv调试模式却提示未定义选项-v。这时应该是触发gearmand新版本的bug了,查看log应该能看到“000000 [ main ] socket()(Address family not supported by protocol) -> libgearman-server/gearmand.cc:470”这个错误,解决办法是启动时添加参数-L 0.0.0.0,限定只绑定ipv4地址,忽略ipv6。或者安装不高于1.0.2的版本。参见官方反馈帖子:https://bugs.launchpad.net/gearmand/+bug/1134534
参考链接:http://www.usamurai.com/2013/05/01/install-gearman-from-source-in-centos/
2、安装gearman的php扩展
下载扩展程序:http://pecl.php.net/package/gearman
wget http://pecl.php.net/get/gearman-1.1.2.tgz
tar zxvf gearman-1….
cd gearman-1 …
phpize
./configure
make && make install
很快就安装完成,最后会展示so文件的路径,如: /usr/lib64/php/modules/
在php.ini末尾加上extension=”/usr/lib64/php/modules/gearman.so”,重启apache,输出php –info |grep “gearman”或者php -m或者网页输出phpinfo()都能看到已经安装成功。
常见问题:configure时如果提示找不到php-config,请指定。如–with-php-config=/usr/local/php/bin/php-config,注意要指定完整,不要只写目录。
三、实例
client:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
$client=newGearmanClient(); $client->addServer('127.0.0.1', 4730);//本机可以直接addServer(),默认服务器端使用4730端口 $client->setCompleteCallback('completeCallBack');//先绑定才有效
$result1=$client->do('say','do');//do是同步进行,进行处理并返回处理结果。 $result2=$client->doBackground('say','doBackground');//异步进行,只返回处理句柄。 $result3=$client->addTask('say','addTask');//添加任务到队列,同步进行?通过添加task可以设置回调函数。 $result4=$client->addTaskBackground('say','addTaskBackground');//添加后台任务到队列,异步进行? $client->runTasks();//运行队列中的任务,只是do系列不需要runTask()。
echo'result1:'; var_dump($result1); echo'
echo'result2:'; var_dump($result2); echo'
echo'result3:'; var_dump($result3); echo'
echo'result4:'; var_dump($result4); echo'
//绑定回调函数,只对addTask有效 functioncompleteCallBack($task) { echo'CompleteCallback!handle result:'.$task->data().' } |
worker:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
$worker=newGearmanWorker(); $worker->addServer(); $worker->addFunction('say',function(GearmanJob$job){ $workload=$job->workload();//接收client传递的数据 echo'receive data:'.$workload.PHP_EOL; returnstrrev($workload);//仅作反转处理 });
//无际循环运行,gearman内部已有处理,不会出现占用过高死掉的情况 while($worker->work()){ if($worker->returnCode() !== GEARMAN_SUCCESS){ echo'error'.PHP_EOL; } } |
以上client输出:
CompleteCallback!handle result:ksaTdda
result1:string(2) “od”
result2:string(17) “H:iZ943bixttyZ:87″
result3:object(GearmanTask)#2 (0) { }
result4:object(GearmanTask)#3 (0) { }
worker输出:
receive data:do
receive data:doBackground
receive data:addTaskBackground
receive data:addTask
四、pcntl扩展实现粗略的多worker守护
由于worker要长驻后台时刻准备着被jobserver调用来处理job,所以worker不能死掉,网上有的解决办法是通过定时任务进行重启 worker,这应该是不错的方案。也有说进行多进程守护,但实际上php比较难实现,通过pcntl扩展是其中一种方案,主进程forck出来的子进程 来启动运行worker,相当于worker作为主进程的子进程。主进程监护着子进程,worker死掉及时启动新的一个。但如果主进程死掉呢?由于主进 程不进行什么业务处理,死掉的概率要比子进程worker死掉的概率要小不少吧。
以下示例,主进程启动5个子进程,也就是开启5个worker,并监护着它们:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 |
declare(ticks = 1); $num= 5;//最大子进程数 $child= 0;//当前子进程数
//信号处理函数 functionsig_handler($sig) { global$child; switch($sig) { caseSIGCHLD: $child--; echo'SIGCHLD received! now we have '.$child.' process'.PHP_EOL; break; caseSIGINT: $child--; echo'SIGINT received! now we have '.$child.' process'.PHP_EOL; break; caseSIGTERM: $child--; echo'SIGTERM received! now we have '.$child.' process'.PHP_EOL; break; default: # code... break; } }
//安装信号处理器 pcntl_signal(SIGTERM,"sig_handler");//进程被kill时发出的信号 // pcntl_signal(SIGHUP, "sig_handler");//终端关闭时发出的信号 pcntl_signal(SIGINT,"sig_handler");//中断进程信号,如Ctrl+C pcntl_signal(SIGCHLD,"sig_handler");//进程退出信号
while(true) { $child++; $parentpid=getmypid(); $pid= pcntl_fork();//一分为二,父进程和子进程都会执行以下代码 if($pid== -1) { exit("can not fork!");//出错 }elseif($pid> 0){ //父进程处理代码 echo'I am parent.my pid is'.$pid.' and my parent pid is'.$parentpid.PHP_EOL; if($child>=$num) { pcntl_wait($status);//挂起,while语句不会继续执行。等待子进程结束,防止子进程成为僵尸进程 } }elseif($pid== 0){ //子进程代码 echo'I am child, and my parent pid is '.$parentpid." my pid is ".getmypid()." now have $child process".PHP_EOL; //执行具体代码 pcntl_exec('/usr/bin/php',array('/var/www/test/mywork.php'));
} pcntl_signal_dispatch();//分发信号,使安装的信号处理器能接收。 //低于php5.3该函数无效,但有开头的declare (ticks = 1);表示每执行一条低级指令, //就检查一次信号,如果检测到注册的信号,就调用其信号处理器 sleep(rand(3,5));//防止100%占用 } |
参考链接:http://huoding.com/2012/10/30/196,http://www.zrwm.com/?cat=80

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

PHP和Python各有優勢,選擇依據項目需求。 1.PHP適合web開發,尤其快速開發和維護網站。 2.Python適用於數據科學、機器學習和人工智能,語法簡潔,適合初學者。

在PHP中,應使用password_hash和password_verify函數實現安全的密碼哈希處理,不應使用MD5或SHA1。1)password_hash生成包含鹽值的哈希,增強安全性。 2)password_verify驗證密碼,通過比較哈希值確保安全。 3)MD5和SHA1易受攻擊且缺乏鹽值,不適合現代密碼安全。

PHP在電子商務、內容管理系統和API開發中廣泛應用。 1)電子商務:用於購物車功能和支付處理。 2)內容管理系統:用於動態內容生成和用戶管理。 3)API開發:用於RESTfulAPI開發和API安全性。通過性能優化和最佳實踐,PHP應用的效率和可維護性得以提升。

PHP是一種廣泛應用於服務器端的腳本語言,特別適合web開發。 1.PHP可以嵌入HTML,處理HTTP請求和響應,支持多種數據庫。 2.PHP用於生成動態網頁內容,處理表單數據,訪問數據庫等,具有強大的社區支持和開源資源。 3.PHP是解釋型語言,執行過程包括詞法分析、語法分析、編譯和執行。 4.PHP可以與MySQL結合用於用戶註冊系統等高級應用。 5.調試PHP時,可使用error_reporting()和var_dump()等函數。 6.優化PHP代碼可通過緩存機制、優化數據庫查詢和使用內置函數。 7

PHP仍然具有活力,其在現代編程領域中依然佔據重要地位。 1)PHP的簡單易學和強大社區支持使其在Web開發中廣泛應用;2)其靈活性和穩定性使其在處理Web表單、數據庫操作和文件處理等方面表現出色;3)PHP不斷進化和優化,適用於初學者和經驗豐富的開發者。

PHP類型提示提升代碼質量和可讀性。 1)標量類型提示:自PHP7.0起,允許在函數參數中指定基本數據類型,如int、float等。 2)返回類型提示:確保函數返回值類型的一致性。 3)聯合類型提示:自PHP8.0起,允許在函數參數或返回值中指定多個類型。 4)可空類型提示:允許包含null值,處理可能返回空值的函數。

PHP和Python各有優劣,選擇取決於項目需求和個人偏好。 1.PHP適合快速開發和維護大型Web應用。 2.Python在數據科學和機器學習領域佔據主導地位。

PHP適合web開發,特別是在快速開發和處理動態內容方面表現出色,但不擅長數據科學和企業級應用。與Python相比,PHP在web開發中更具優勢,但在數據科學領域不如Python;與Java相比,PHP在企業級應用中表現較差,但在web開發中更靈活;與JavaScript相比,PHP在後端開發中更簡潔,但在前端開發中不如JavaScript。
