これに関連する問題は、Curl がページをクロールできないという点で少し難しいです。

この問題は少し難しく、curl ではページをクロールできません。

この投稿は、2015-03-07 15:57:23 に xroha によって最終編集されました Baidu Experience の URL (例: http://jingyan.baidu.com/article/e2284b2b24eeb2e2e6118dfd)。 html

ページのソースコードを直接見てみると、記事データがあります。
しかし、curlを使用すると記事の内容が正常に取得できません。
これはなぜですか? IP、オリジン、Cookieなどを偽造しましたが、それでも取得できません。
注: ローカルでキャプチャすることはできますが、サーバーにアップロードすることはできません。
SAE、Alibaba Cloud、Business China のスペースの 3 つのサーバーをテストしましたが、取得できません。
Baidu はデータ クロールを防ぐために何を使用していますか?どうやってそれを破るのですか？

コードは次のとおりです:

<br />function fcontents( $url, $timeout = 5, $referer = "" ){<br />    $t = parse_url($url);<br />    $ch = curl_init();<br />    $header = array (<br />        'User-Agent: Mozilla/5.0 (Windows NT 5.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.1.1916.153 Safari/537.36','X-FORWARDED-FOR:154.135.25.15', 'CLIENT-IP:154.135.25.15'<br />    );<br />    $cookie_jar = dirname(__FILE__)."/jy.cookie";<br />    curl_setopt($ch, CURLOPT_URL, $url);<br />    curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);<br />    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />    curl_setopt($ch, CURLOPT_HTTPHEADER, $header);<br />    curl_setopt($ch, CURLOPT_REFERER, "http://$t[host]/");   //构造来路 <br />    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar);<br />    curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar);<br />    curl_setopt($ch, CURLOPT_HEADER, 0);<br />    $result = curl_exec($ch);<br />    curl_close($ch);<br />    return $result;<br />}<br />

-----ソリューションのアイデア-------- - ----------
それらはすべてcurlをサポートしていますか?
------解決策----------------------
Baidu はあなたの IP アクセス頻度を感知します 非常に疑わしい
または複雑な Cookie 検証プロセスがあります
-----ソリューションのアイデア----------------------
1. ローカルでは動作するが、サーバーでは動作しない場合。プログラムには問題ありません。
2.SAE、Alibaba Cloud、Business China Space
これらは、curl をサポートしていますか? 他のアドレスを収集してみましたか?
3. これらのサーバーはこの期間中に Baidu を収集したため、ブロックされた可能性があります。