ヒーローはどこにいますか? データ収集時に IP アドレスがブロックされている場合はどうすればよいですか?
データ収集時に IP アドレスがブロックされている場合はどうすればよいですか?模倣品収集プログラム
-----解決策---------------------- ----------
まさか、顧客のふりをしてクレームを言うなんて、
------解決策----------------------
sleep() あまり乱暴に収集しないでくださいus now 収集は 1 秒に 1 回行われます。そうしないと、同時実行性が一度に高くなると、全員にとって悪影響が生じます。時間をかけてもブロックされません。
------解決策---------
これは...IP を変更する以外は、次の方法を見つけてください。プロキシ サーバー、偽の IP、他に良い方法はありません...
あなたの IP が頻繁にアクセスされているのを他の人が見つけた場合、iptables を使用してあなたの IP を直接ブロックするのは非常に簡単です...
------解決策---------
閉じるのはおかしいです!私が一生懸命修正した情報を、なぜあなたに提供しなければならないのでしょうか?
------解決策----------------------
IP をブロックする方法を知っているので、夢中になってください。その後、別のサーバーを使用してデータを収集します
頻度を減らしてゆっくりしてください
------解決策---------
スリープ(60)?私だったら、あなたの IP もブロックします
私は数分に 1 つの投稿しか収集しません。
------解決策--------
数分ごとに、収集速度が向上します。遅い?
でも、他人事だから仕方ないみたいですね
------解決策------------------
CURL を使用して IP を偽装できます
$headers['CLIENT-IP'] = $headers['X-FORWARDED-FOR'] = '192.168.1.1' //リクエスト アドレスの IP を使用します$headerArr = array();
foreach( $headers as $n => $v ) {
$headerArr[] = $n .':' . $v;
}
$refer = $_SERVER["HTTP_REFERER"]
curl_setopt($ch, CURLOPT_HTTPHEADER, $headerArr); // IP を構築します