ホームページ バックエンド開発 PHPチュートリアル 大侠何在,采集数据被封ip该怎么处理

大侠何在,采集数据被封ip该怎么处理

Jun 13, 2016 am 10:12 AM
curl headers quot sleep

大侠何在,采集数据被封ip该怎么办,
大侠何在,采集数据被封ip该怎么办,如何判断出网站都用了哪些仿采集的程序啊,我们又改如何避让开这些仿采集程序啊

------解决方案--------------------

没办法,你可以装做客户投诉他们,
------解决方案--------------------
sleep() 你不要太暴力采集 我们现在采集 都是一秒采集一次 否则对大家都不好是不是 你一下子并发那么高 大家都不好 ,慢慢来 他不会封的。
------解决方案--------------------
这个...除了你换IP,找代理服务器,伪造IP,没其他啥好方法...
人家看到你的IP频繁访问,直接iptables屏掉你的IP都是很简单的...
------解决方案--------------------
封就疯了吧!人家辛辛苦苦地正的那些资料,凭什么给你呀
------解决方案--------------------
疯吧,既然知道封ip,那就用别的服务器采集呗
降低频率,悠着点
------解决方案--------------------
sleep(60)?要是我我也封你ip

我采集都是隔几分钟才一篇
------解决方案--------------------
隔几分钟一篇,这样采集速度会很慢的吧?
不过好像也没有办法吧,毕竟是人家的东西
------解决方案--------------------
用CURL可以假冒IP的吧
$headers['CLIENT-IP'] = $headers['X-FORWARDED-FOR'] = '192.168.1.1'; //用请求地址的IP
$headerArr = array();
foreach( $headers as $n => $v ) {
$headerArr[] = $n .':' . $v;
}
$refer = $_SERVER["HTTP_REFERER"]

curl_setopt($ch, CURLOPT_HTTPHEADER , $headerArr); //构造IP

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

PythonでCURLリクエストとPythonリクエストの相互変換を実現する方法 PythonでCURLリクエストとPythonリクエストの相互変換を実現する方法 May 03, 2023 pm 12:49 PM

curl と Pythonrequests は両方とも、HTTP リクエストを送信するための強力なツールです。 curl はターミナルから直接リクエストを送信できるコマンドライン ツールですが、Python のリクエスト ライブラリは、Python コードからリクエストを送信するためのよりプログラム的な方法を提供します。 curl を Pythonrequestscurl コマンドに変換するための基本的な構文は次のとおりです。curl[OPTIONS]URLcurl コマンドを Python リクエストに変換する場合、オプションと URL を Python コードに変換する必要があります。これは、curlPOST コマンドの例です:curl-XPOST https://example.com/api

最初から最後まで: PHP 拡張機能 cURL を使用して HTTP リクエストを行う方法 最初から最後まで: PHP 拡張機能 cURL を使用して HTTP リクエストを行う方法 Jul 29, 2023 pm 05:07 PM

最初から最後まで: HTTP リクエストに php 拡張機能 cURL を使用する方法 はじめに: Web 開発では、多くの場合、サードパーティ API または他のリモート サーバーと通信する必要があります。 cURL を使用して HTTP リクエストを行うのは、一般的で強力な方法です。この記事では、PHP を使用して cURL を拡張して HTTP リクエストを実行する方法を紹介し、いくつかの実用的なコード例を示します。 1. 準備 まず、php に cURL 拡張機能がインストールされていることを確認します。コマンドラインで php-m|grepcurl を実行して確認できます。

Linux での CURL バージョンの更新に関するチュートリアル! Linux での CURL バージョンの更新に関するチュートリアル! Mar 07, 2024 am 08:30 AM

Linux でカールのバージョンを更新するには、以下の手順に従います。 現在のカールのバージョンを確認します。 まず、現在のシステムにインストールされているカールのバージョンを確認する必要があります。ターミナルを開き、次のコマンドを実行します。curl --version このコマンドは、現在のcurlバージョン情報を表示します。利用可能なcurlのバージョンを確認する:curlを更新する前に、利用可能な最新バージョンを確認する必要があります。 Curl の公式 Web サイト (curl.haxx.se) または関連ソフトウェア ソースにアクセスして、curl の最新バージョンを見つけることができます。 Curl ソース コードをダウンロードする:curl またはブラウザを使用して、選択した CURL バージョンのソース コード ファイル (通常は .tar.gz または .tar.bz2) をダウンロードします。

PHP8.1 リリース: 複数リクエストの同時処理のためのcurlの導入 PHP8.1 リリース: 複数リクエストの同時処理のためのcurlの導入 Jul 08, 2023 pm 09:13 PM

PHP8.1 リリース: 複数リクエストの同時処理のためのcurlの導入 最近、PHPは最新バージョンのPHP8.1を正式にリリースし、重要な機能である複数リクエストの同時処理のためのcurlを導入しました。この新機能により、開発者は複数の HTTP リクエストをより効率的かつ柔軟に処理できるようになり、パフォーマンスとユーザー エクスペリエンスが大幅に向上します。以前のバージョンでは、複数のリクエストを処理するには、多くの場合、複数の CURL リソースを作成し、ループを使用してデータをそれぞれ送受信する必要がありました。この方法でも目的は達成できますが、

Linux のスリープはスレッドを遅延させることができますか? Linux のスリープはスレッドを遅延させることができますか? Mar 16, 2023 am 11:02 AM

睡眠が遅れる可能性があります。 Linux の sleep コマンドを使用すると、現在のアクションを一定期間遅らせることができます。構文は「sleep [--help] [--version]number[smhd]」です。デフォルトでは、sleep コマンドはしばらく遅延します。遅延を秒、分、時間、または日で指定する単位。

PHP Curl で Web ページの 301 リダイレクトを処理するにはどうすればよいですか? PHP Curl で Web ページの 301 リダイレクトを処理するにはどうすればよいですか? Mar 08, 2024 am 11:36 AM

PHPCurl で Web ページの 301 リダイレクトを処理するにはどうすればよいですか? PHPCurl を使用してネットワーク リクエストを送信すると、Web ページから返される 301 ステータス コードが頻繁に発生します。これは、ページが永続的にリダイレクトされたことを示します。この状況を正しく処理するには、いくつかの特定のオプションと処理ロジックを Curl リクエストに追加する必要があります。以下では、PHPCurl で Web ページの 301 リダイレクトを処理する方法を詳しく紹介し、具体的なコード例を示します。 301 リダイレクトの処理原則 301 リダイレクトとは、サーバーが 30 を返すことを意味します。

Linuxカールとは何ですか Linuxカールとは何ですか Apr 20, 2023 pm 05:05 PM

Linux では、curl はサーバーとの間でデータを転送するための非常に実用的なツールです。これは、コマンド ラインで動作する URL ルールを使用するファイル転送ツールです。ファイルのアップロードとダウンロードをサポートし、包括的な転送ツールです。 Curl は、プロキシ アクセス、ユーザー認証、ftp アップロードとダウンロード、HTTP POST、SSL 接続、Cookie サポート、ブレークポイント再開などの非常に便利な機能を多数提供します。

Java の sleep メソッドと wait メソッドの違いは何ですか? Java の sleep メソッドと wait メソッドの違いは何ですか? May 06, 2023 am 09:52 AM

1. sleep メソッドと wait メソッドの基本的な違い: sleep は Thread クラスのメソッドであり、すぐには実行状態にはなりません wait は Object クラスのメソッドです オブジェクトが wait メソッドを呼び出すと、notify() と NoticeAll () メソッドはプロセスを起こして同期ロックを解除します: sleep は CPU を解放しますが、sleep は同期ロック リソースを解放しません。wait は同期ロック リソースを解放します。使用範囲: sleep はどこでも使用できます。ただし、wait は synchronized 同期メソッドでのみ使用できます。または、コード ブロックで例外処理を使用します。sleep は例外をキャッチする必要がありますが、wait は例外をキャッチする必要はありません 2. wa

See all articles