PHP或python進行資料蒐集和分析,有什麼比較成熟的架構?

WBOY
發布: 2016-10-20 10:08:53
原創
871 人瀏覽過

我現在需要對一個網站的文章列表和列表裡面的實際內容進行自動化數據採集,列表裡面能夠取得每個文章的id,而每個文章又是通過一個統一的接口(參數帶上那個文章id即可取得對應的json)裡面又有一部分資料需要收集然後進行資料分析。

目前有什麼比較成熟的框架或輪子能夠實現我的需求嗎? (要多線程,而且可以7x24小時穩定運行,因為採集數量龐大)

另外問一下,採集到的內容如何儲存(百萬到千萬),數據裡面有一些數字數據,需要進行統計分析,用mysql可以嗎?或者說有其他更成熟簡單的輪子可以用嗎?

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!