php如何非同步產生excel檔案並保存到伺服器
先說說我目前的需求和困境吧:
1.導出訂單這個功能相信大家都不陌生,資料量大,業務複雜。現在產品要導出一個月的數據,大概2w條左右,查詢介面呼叫的是java提供的api。
2.查詢2000條資料該介面需要30+秒,而伺服器的逾時時間是30秒,因此逾時在所難免。 1w條資料每1000個一次,單一curl請求,耗時60-78秒,curl_multi請求,45.78-52秒。
3.此時並沒有做完業務邏輯,用戶的資訊需要在返回的結果中根據uid在此查詢資料庫,某些字段還需要做判斷,因此,需要等待rest結果並處理邏輯。
4.處理的資料結果,經過遍歷之後組裝到excel單元格,佔用大量記憶體。
現在說說我自己的想法:
1.客戶端發起「匯出」動作,服務傳送查詢操作,並產生excel檔案儲存到伺服器端。
2.在客戶端發出動作之後,最好立即返回,不等待結果回饋客戶,直接告訴客戶,半個小時之後再去下載。
3.下載直接從伺服器上拉去產生的excel檔案。
我的困惑:
如何做到客戶發起請求並立即返回,還要伺服器做業務邏輯,處理查詢,字段組裝等過程?請各位大神幫我指點一二,謝謝你們!
補充一點:
原本想使用cron job的,但是東西越來越多,伺服器並不是很寬裕,上面部署這很多服務,這些事自己內部使用的,效率不要求很高。
因為app端顯示的很多東西都是定時任務,例如商品加精等,太多了,所以,目前不想使用cron job。而且在java程式碼中使用spring的task執行很多任務。
回覆內容:
先說說我目前的需求和困境吧:
1.導出訂單這個功能相信大家都不陌生,資料量大,業務複雜。現在產品要導出一個月的數據,大概2w條左右,查詢介面呼叫的是java提供的api。
2.查詢2000條資料該介面需要30+秒,而伺服器的逾時時間是30秒,因此逾時在所難免。 1w條資料每1000個一次,單一curl請求,耗時60-78秒,curl_multi請求,45.78-52秒。
3.此時並沒有做完業務邏輯,用戶的資訊需要在返回的結果中根據uid在此查詢資料庫,某些字段還需要做判斷,因此,需要等待rest結果並處理邏輯。
4.處理的資料結果,經過遍歷之後組裝到excel單元格,佔用大量記憶體。
現在說說我自己的想法:
1.客戶端發起「匯出」動作,服務傳送查詢操作,並產生excel檔案儲存到伺服器端。
2.在客戶端發出動作之後,最好立即返回,不等待結果回饋客戶,直接告訴客戶,半個小時之後再去下載。
3.下載直接從伺服器上拉去產生的excel檔案。
我的困惑:
如何做到客戶發起請求並立即返回,還要伺服器做業務邏輯,處理查詢,字段組裝等過程?請各位大神幫我指點一二,謝謝你們!
補充一點:
原本想使用cron job的,但是東西越來越多,伺服器並不是很寬裕,上面部署這很多服務,這些事自己內部使用的,效率不要求很高。
因為app端顯示的很多東西都是定時任務,例如商品加精等,太多了,所以,目前不想使用cron job。而且在java程式碼中使用spring的task執行很多任務。
2種,一種就是用腳本去跑。還有一種就是接收到前端請求之後直接回傳或讓它逾時,php可以繼續執行的顯示設定腳本set_time_limit(0);,php-fpm的話可以fastcgi_finish_request(),返回之後繼續執行,apache可以設定ignore_user_abort( );
不過後面一種方式php-fpm的話會阻塞php接收請求,有可能導致正常用戶無法訪問網站,因為那個是隨機分配的,如果nginx連接到那個長時間的進程的就阻塞了。
建議還是用php腳本的方式來執行,可以使用佇列,也可以使用shell去呼叫php腳本來執行
可以透過佇列導出
可以滿足你的需求,下圖為我的導出
或是你也可以選擇簡單點的,用Linux規劃任務執行
前台提交導出請求,你將導出的請求添加到資料庫任務表裡,並返回給客戶端正在執行導出等信息,然後linux計劃任務對任務表查詢到新任務並進行導出,導出完成後修改當前任務為已完成,這應該不是特別複雜了
同學,你聽過cron job 麼?
你可以用分散式任務佇列
比如說gearman, rabbitmq 非同步的處理
為啥不用天生非同步的nodejs實作呢

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

PHP和Python各有優勢,選擇依據項目需求。 1.PHP適合web開發,尤其快速開發和維護網站。 2.Python適用於數據科學、機器學習和人工智能,語法簡潔,適合初學者。

PHP在電子商務、內容管理系統和API開發中廣泛應用。 1)電子商務:用於購物車功能和支付處理。 2)內容管理系統:用於動態內容生成和用戶管理。 3)API開發:用於RESTfulAPI開發和API安全性。通過性能優化和最佳實踐,PHP應用的效率和可維護性得以提升。

PHP是一種廣泛應用於服務器端的腳本語言,特別適合web開發。 1.PHP可以嵌入HTML,處理HTTP請求和響應,支持多種數據庫。 2.PHP用於生成動態網頁內容,處理表單數據,訪問數據庫等,具有強大的社區支持和開源資源。 3.PHP是解釋型語言,執行過程包括詞法分析、語法分析、編譯和執行。 4.PHP可以與MySQL結合用於用戶註冊系統等高級應用。 5.調試PHP時,可使用error_reporting()和var_dump()等函數。 6.優化PHP代碼可通過緩存機制、優化數據庫查詢和使用內置函數。 7

PHP和Python各有優勢,選擇應基於項目需求。 1.PHP適合web開發,語法簡單,執行效率高。 2.Python適用於數據科學和機器學習,語法簡潔,庫豐富。

PHP仍然具有活力,其在現代編程領域中依然佔據重要地位。 1)PHP的簡單易學和強大社區支持使其在Web開發中廣泛應用;2)其靈活性和穩定性使其在處理Web表單、數據庫操作和文件處理等方面表現出色;3)PHP不斷進化和優化,適用於初學者和經驗豐富的開發者。

PHP和Python各有優劣,選擇取決於項目需求和個人偏好。 1.PHP適合快速開發和維護大型Web應用。 2.Python在數據科學和機器學習領域佔據主導地位。

PHP適合web開發,特別是在快速開發和處理動態內容方面表現出色,但不擅長數據科學和企業級應用。與Python相比,PHP在web開發中更具優勢,但在數據科學領域不如Python;與Java相比,PHP在企業級應用中表現較差,但在web開發中更靈活;與JavaScript相比,PHP在後端開發中更簡潔,但在前端開發中不如JavaScript。

PHP主要是過程式編程,但也支持面向對象編程(OOP);Python支持多種範式,包括OOP、函數式和過程式編程。 PHP適合web開發,Python適用於多種應用,如數據分析和機器學習。
