首頁 後端開發 php教程 大侠何在,采集数据被封ip该怎么处理

大侠何在,采集数据被封ip该怎么处理

Jun 13, 2016 pm 01:42 PM
curl headers quot sleep

大侠何在,采集数据被封ip该怎么办,
大侠何在,采集数据被封ip该怎么办,如何判断出网站都用了哪些仿采集的程序啊,我们又改如何避让开这些仿采集程序啊

------解决方案--------------------

没办法,你可以装做客户投诉他们,
------解决方案--------------------
sleep() 你不要太暴力采集 我们现在采集 都是一秒采集一次 否则对大家都不好是不是 你一下子并发那么高 大家都不好 ,慢慢来 他不会封的。
------解决方案--------------------
这个...除了你换IP,找代理服务器,伪造IP,没其他啥好方法...
人家看到你的IP频繁访问,直接iptables屏掉你的IP都是很简单的...
------解决方案--------------------
封就疯了吧!人家辛辛苦苦地正的那些资料,凭什么给你呀
------解决方案--------------------
疯吧,既然知道封ip,那就用别的服务器采集呗
降低频率,悠着点
------解决方案--------------------
sleep(60)?要是我我也封你ip

我采集都是隔几分钟才一篇
------解决方案--------------------
隔几分钟一篇,这样采集速度会很慢的吧?
不过好像也没有办法吧,毕竟是人家的东西
------解决方案--------------------
用CURL可以假冒IP的吧
$headers['CLIENT-IP'] = $headers['X-FORWARDED-FOR'] = '192.168.1.1'; //用请求地址的IP
$headerArr = array();
foreach( $headers as $n => $v ) {
$headerArr[] = $n .':' . $v;
}
$refer = $_SERVER["HTTP_REFERER"]

curl_setopt($ch, CURLOPT_HTTPHEADER , $headerArr); //构造IP

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora:巫婆樹的耳語 - 如何解鎖抓鉤
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1665
14
CakePHP 教程
1424
52
Laravel 教程
1322
25
PHP教程
1270
29
C# 教程
1249
24
python中CURL和python requests的相互轉換如何實現 python中CURL和python requests的相互轉換如何實現 May 03, 2023 pm 12:49 PM

curl和Pythonrequests都是發送HTTP請求的強大工具。雖然curl是一種命令列工具,可讓您直接從終端機發送請求,但Python的請求庫提供了一種更具程式化的方式來從Python程式碼發送請求。將curl轉換為Pythonrequestscurl指令的基本語法如下所示:curl[OPTIONS]URL將curl指令轉換為Python請求時,我們需要將選項和URL轉換為Python程式碼。這是一個範例curlPOST指令:curl-XPOSThttps://example.com/api

PHP8.1發布:引入curl多個請求並發處理 PHP8.1發布:引入curl多個請求並發處理 Jul 08, 2023 pm 09:13 PM

PHP8.1發布:引入curl多個請求並發處理近日,PHP官方發布了最新版本的PHP8.1,其中引入了一個重要的特性:curl多個請求並發處理。這個新功能為開發者提供了一個更有效率和靈活的方式來處理多個HTTP請求,大大提升了效能和使用者體驗。在以往的版本中,處理多個請求往往需要透過建立多個curl資源,並使用循環來分別發送和接收資料。這種方式雖然能夠實現目

從頭到尾:如何使用php擴充cURL進行HTTP請求 從頭到尾:如何使用php擴充cURL進行HTTP請求 Jul 29, 2023 pm 05:07 PM

從頭到尾:如何使用php擴充cURL進行HTTP請求引言:在Web開發中,經常需要與第三方API或其他遠端伺服器進行通訊。而使用cURL進行HTTP請求是一種常見且強大的方式。本文將介紹如何使用php擴充cURL來執行HTTP請求,並提供一些實用的程式碼範例。一、準備工作首先,請確保php已安裝cURL擴充。可以在命令列執行php-m|grepcurl查

Linux下更新curl版本教程! Linux下更新curl版本教程! Mar 07, 2024 am 08:30 AM

在Linux下更新curl版本,您可以按照以下步驟進行操作:檢查目前curl版本:首先,您需要確定目前系統中安裝的curl版本。開啟終端,並執行以下指令:curl--version該指令將顯示目前curl的版本資訊。確認可用的curl版本:在更新curl之前,您需要確定可用的最新版本。您可以造訪curl的官方網站(curl.haxx.se)或相關的軟體來源,尋找最新版本的curl。下載curl原始碼:使用curl或瀏覽器,下載您選擇的curl版本的原始碼檔案(通常為.tar.gz或.tar.bz2

linux sleep能線程延時麼 linux sleep能線程延時麼 Mar 16, 2023 am 11:02 AM

sleep能延時。 linux sleep指令可以用來將目前動作延遲一段時間,語法「sleep [--help] [--version] number[smhd]」;預設情況下,sleep指令會延遲幾秒鐘,但允許使用後綴指定時間單位來指定延遲的秒數、分鐘、小時或天數。

PHP Curl中如何處理網頁的 301 重定向? PHP Curl中如何處理網頁的 301 重定向? Mar 08, 2024 am 11:36 AM

PHPCurl中如何處理網頁的301重定向?使用PHPCurl發送網路請求時,常會遇到網頁回傳的301狀態碼,表示頁面被永久重定向。為了正確處理這種情況,我們需要在Curl請求中加入一些特定的選項和處理邏輯。以下將詳細介紹在PHPCurl中如何處理網頁的301重定向,並提供具體的程式碼範例。 301重定向處理原理301重定向是指伺服器回傳了一個30

linux curl是什麼 linux curl是什麼 Apr 20, 2023 pm 05:05 PM

在linux中,curl是一個非常實用的、用來與伺服器之間傳輸資料的工具,是一個利用URL規則在命令列下工作的檔案傳輸工具;它支援檔案的上傳和下載,是綜合傳輸工具。 curl提供了一大堆非常有用的功能,包括代理存取、使用者認證、ftp上傳下載、HTTP POST、SSL連線、cookie支援、斷點續傳等等。

Java中sleep和wait方法有什麼差別 Java中sleep和wait方法有什麼差別 May 06, 2023 am 09:52 AM

一、sleep和wait方法的區別根本區別:sleep是Thread類別中的方法,不會馬上進入運行狀態,wait是Object類別中的方法,一旦一個物件呼叫了wait方法,必須要採用notify()和notifyAll ()方法喚醒該程序釋放同步鎖定:sleep會釋放cpu,但是sleep不會釋放同步鎖定的資源,wait會釋放同步鎖定資源使用範圍:sleep可以在任何地方使用,但wait只能在synchronized的同步方法或是程式碼區塊中使用異常處理:sleep需要捕獲異常,而wait不需要捕獲異常二、wa

See all articles