简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
首頁 > 後端開發 > php教程 > 主體

抓取原始碼 - php有沒有功能完整的網頁資料擷取開源專案呢

WBOY
發布： 2023-03-01 18:24:01
原創
1425 人瀏覽過

請問有沒有開源的工具來收集網頁的資料

例如要包含連續規則抓取，例如先抓取分頁信息，從中獲取詳情頁，從詳情頁抓取真正需要的dom字段

包含最後自訂存到資料庫，

包含可以偽造ip等

包含自動佇列機制，自動延遲

等等

謝謝

回覆內容：

請問有沒有開源的工具來收集網頁的資料

例如要包含連續規則抓取，例如先抓取分頁信息，從中獲取詳情頁，從詳情頁抓取真正需要的dom字段

包含最後自訂存到資料庫，

包含可以偽造ip等

包含自動佇列機制，自動延遲

等等

謝謝

有，可以試試【神箭手雲爬蟲開發平台。 】
神箭手雲爬蟲是幫助JS開發者快速開發爬蟲系統的SaaS服務平台。神箭手提供上手簡單，靈活開放的雲端爬蟲開發框架，讓開發者只需要在線上寫幾行js程式碼就可以實現一個爬蟲。且爬蟲將自動運行在雲端伺服器上，爬取速度更快，效率更高。

phpcrawler,php爬蟲,php採集器,多進程,多執行緒

phpQuery

相關標籤：
php 數據採集 採集
來源：php.cn
上一篇：使用redis位元操作記錄使用者性別 下一篇：javascript - python寫網頁爬蟲爬取 登入後可見 訊息
本網站聲明
本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn
作者最新文章
最新問題
無法從網站取得輸入元素 所以我試圖從Twitter獲取一個輸入元素，但當我運行它時，它不斷在節點終端中給我一個這樣的錯誤，結果，由此代碼創建的瀏覽器窗口將自行關閉，因為它找不到正確的輸入選擇器。如何取得正...
來自於 2024-04-06 18:59:57
0
1
442
狀態更新在 Android 上的 React-Native 中不起作用 我有一些程式碼，其中有成對的圖像，它們都在可滑動的水平圖庫中。現在，當您單擊兩個圖像的上部時，圖像應該關閉切換，所以我所做的是，我將isImage2Active設為狀態，然後只需切...
來自於 2024-04-06 16:54:10
0
1
410
如何讓我的圖像顯示在頁面的主顯示幕上？ 我想做的是使用NASAAPI接收一些照片。然後在我的網頁的縮圖和主顯示屏上顯示這些照片。我只是弄清楚為什麼程式碼不從縮圖中獲取圖像並將其顯示在頁面上。我還使用HTML5以上版本的模...
來自於 2024-04-06 15:33:12
0
1
433
將在MYSQL資料庫中將ASP Classic程式碼儲存為字串的可能性 是否可以將asp經典程式碼儲存到MySQL資料庫中並讓它在拉取時執行程式碼？例如將變數名稱儲存到字串中並讓它在顯示之前執行ASP？我懷疑這是不可能的，因為MySQL請求在頁面載入後...
來自於 2024-04-06 13:38:43
0
1
358
使用 ...new Set 在 filtred 陣列中加入計數重複值 我有一個包含重複值的數組，我從API獲取這些值，下面的程式碼使用...newSet()方法來取得所有數學的註釋，而沒有重複的註釋：letnotes=[];if(props.getA...
來自於 2024-04-04 19:03:41
0
1
313
相關專題
更多>
熱門推薦
熱門教學
更多>
相關教學
熱門推薦
最新課程
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網：公益線上PHP培訓，幫助PHP學習者快速成長！