這篇文章主要介紹了PHP簡單實作定時監控nginx日誌檔案功能,涉及php定時讀取nginx伺服器日誌以及基於curl的資料傳輸相關操作技巧,需要的朋友可以參考下
本文實例講述了PHP簡單實作定時監控nginx日誌檔案功能。分享給大家供大家參考,具體如下:
此功能是為了實現,定時監控nginx生成的日誌數據,並將新增的數據提交到一個接口(比如大數據的接口,讓大數據來進行分析)
define("MAX_SHOW", 8192*5); //新增数据提交阈值 define("LOG_NAME", ""); //读取的日志文件 define("LOG_SIZE", ""); //保留上次读取的位置 define("LOG_URL", ""); //日志提交地址 //运行时log文件原始大小 $log_size = get_filesize(); $file_size = filesize(LOG_NAME); if(empty($log_size)){//没有记录上次位置,则从当前位置开始 $file_size = $file_size; }else if($log_size > $file_size){ //说明是第二天的日志文件,指针放到文件头 $file_size = 0; }else{ //从上次记录的位置开始 $file_size = $log_size; } $file_size_new = 0; $add_size = 0; $ignore_size = 0; $fp = fopen(LOG_NAME, "r"); while(1){ clearstatcache(); $read_num = 0; $file_size_new = filesize(LOG_NAME); $add_size = $file_size_new - $file_size; $add_data = array(); $add_log = ''; if($add_size > 0){ //大于一个阈值提交数据 if($add_size > MAX_SHOW){ fseek($fp, $file_size); //当增加量超过8192,需要分页读取增加量 $page = ceil($add_size/8192); for($i=1; $i<=$page; $i++){ if($i == $page){//最后一页 $end_add = $add_size - ($page -1) * 8192; $add_log .= fread($fp, $end_add); }else{ $add_log .= fread($fp, 8192); $file_size_step = $file_size + $i * 8192; fseek($fp, $file_size_step); } } $add_data['add_log'] = $add_log; $add_data['add_log'] = base64_encode($add_data['add_log']); http_post(LOG_URL, $add_data); $file_size = $file_size_new; //记录当前位置 save_filesize($file_size); } }else if($add_size < 0){ //第二天从头部开始 $file_size = 0; } sleep(2); } fclose($fp); /** * 每次启动时获取上次打开文件位置 */ function get_filesize(){ $size = file_get_contents(LOG_SIZE); return $size; } /** * 每次提交后保存这次读取文件的位置 */ function save_filesize($size){ return file_put_contents(LOG_SIZE, $size); } /** * http请求 * @param array $data * @return boolean */ function http_post($url = '', $data = array()) { if(empty($url)){ return FALSE; } if($data){ $data = http_build_query($data); } $ch = curl_init (); curl_setopt ( $ch, CURLOPT_URL, $url ); curl_setopt ( $ch, CURLOPT_POST, 1 ); curl_setopt ( $ch, CURLOPT_HEADER, 0 ); curl_setopt ( $ch, CURLOPT_TIMEOUT, 5 ); curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 ); curl_setopt ( $ch, CURLOPT_POSTFIELDS, $data ); $return = curl_exec ( $ch ); curl_close ( $ch ); return $return; }
備註:由於日誌檔案過了凌晨會切割,所以需要做一下判斷,判斷是第二天的日誌需要從日誌檔案頭部進行讀取
需要最佳化的邏輯:當中間進程掛了,停了一段時間,再啟動時,從上次的位置重新讀取,提交的資料會比較大,可能會超過提交資料大小的限制
以上就是本文的全部內容,希望對大家的學習有所幫助,更多相關內容請關注PHP中文網!
相關推薦:
PHP實作分散式memcache設置web叢集session同步的方法詳解
#
以上是PHP實作定時監控nginx日誌檔的功能的詳細內容。更多資訊請關注PHP中文網其他相關文章!