PHP或python進行資料蒐集和分析，有什麼比較成熟的架構？-php教程-PHP中文網

首頁

後端開發

php教程

PHP或python進行資料蒐集和分析，有什麼比較成熟的架構？

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Oct 20, 2016 am 10:08 AM

c++ java node.js php python

我現在需要對一個網站的文章列表和列表裡面的實際內容進行自動化數據採集，列表裡面能夠取得每個文章的id，而每個文章又是通過一個統一的接口（參數帶上那個文章id即可取得對應的json）裡面又有一部分資料需要收集然後進行資料分析。

目前有什麼比較成熟的框架或輪子能夠實現我的需求嗎？（要多線程，而且可以7x24小時穩定運行，因為採集數量龐大）

另外問一下，採集到的內容如何儲存（百萬到千萬），數據裡面有一些數字數據，需要進行統計分析，用mysql可以嗎？或者說有其他更成熟簡單的輪子可以用嗎？

本網站聲明

本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn

熱AI工具

熱工具

熱門話題

gmail信箱登陸入口在哪裡

7814

Java教學

1646

CakePHP 教程

1402

Laravel 教程

1300

PHP教程

1238

Related knowledge

Golang和C：並發與原始速度 Apr 21, 2025 am 12:16 AM

Golang在並發性上優於C ，而C 在原始速度上優於Golang。 1)Golang通過goroutine和channel實現高效並發，適合處理大量並發任務。 2)C 通過編譯器優化和標準庫，提供接近硬件的高性能，適合需要極致優化的應用。

繼續使用PHP：耐力的原因 Apr 19, 2025 am 12:23 AM

PHP仍然流行的原因是其易用性、靈活性和強大的生態系統。 1)易用性和簡單語法使其成為初學者的首選。 2)與web開發緊密結合，處理HTTP請求和數據庫交互出色。 3)龐大的生態系統提供了豐富的工具和庫。 4)活躍的社區和開源性質使其適應新需求和技術趨勢。

Python項目是否需要進行分層？ Apr 19, 2025 pm 10:06 PM

Python項目中的分層結構探討在學習Python的過程中，很多初學者會接觸到一些開源項目，特別是使用Django框架的項...

C和XML：探索關係和支持 Apr 21, 2025 am 12:02 AM

C 通過第三方庫（如TinyXML、Pugixml、Xerces-C ）與XML交互。 1)使用庫解析XML文件，將其轉換為C 可處理的數據結構。 2)生成XML時，將C 數據結構轉換為XML格式。 3)在實際應用中，XML常用於配置文件和數據交換，提升開發效率。

後端開發中的分層架構如何正確劃分業務邏輯和非業務邏輯？ Apr 19, 2025 pm 07:15 PM

探討後端開發中的分層架構問題在後端開發中，常見的分層架構包括controller、service和dao...

在後端開發中，如何區分service層和dao層的職責？ Apr 19, 2025 pm 01:51 PM

探討後端開發中的分層架構在後端開發中，分層架構是一種常見的設計模式，通常包括controller、service和dao三層�...

在Golang和Python之間進行選擇：適合您的項目 Apr 19, 2025 am 12:21 AM

golangisidealforperformance-Critical-clitageAppations and ConcurrentPrompromming，而毛皮刺激性，快速播種和可及性。 1）forhigh-porformanceneeds，pelectgolangduetoitsefefsefefseffifeficefsefeflicefsiveficefsiveandconcurrencyfeatures.2）fordataa-fordataa-fordata-fordata-driventriventriventriventriventrivendissp pynonnononesp