如何用客戶端ip實作分散式爬蟲

如果用服務端爬蟲會遇到各種問題，如何實現訪客打開網頁時用訪客的ip訪問被爬的網站，然後把資料上傳，這樣可以實現分佈式爬蟲嗎？ ajax取得被爬的資料然後傳到自己的伺服器？

是否已有類似的例子或開源專案？

回覆內容：

如果用服務端爬蟲會遇到各種問題，如何實現訪客打開網頁時用訪客的ip訪問被爬的網站，然後把資料上傳，這樣可以實現分佈式爬蟲嗎？ ajax取得被爬的資料然後傳到自己的伺服器？

是否已有類似的例子或開源專案？

你這是在竊取用戶隱私，行不通的~

基本原理是建立一個隱藏的iframe然後請求目標網站，請求成功後使用ajax儲存到本機伺服器。 。因為許多網站都做了反爬蟲策略，所以服務端爬蟲經常失效，這種情況下使用客戶端爬蟲很好用。

但是，使用者體驗不太好。 。 。 。