首頁 後端開發 php教程 这个有关问题有点难,curl抓取不到页面

这个有关问题有点难,curl抓取不到页面

Jun 13, 2016 pm 12:17 PM
cookie curl nbsp

这个问题有点难,curl抓取不到页面。

本帖最后由 xroha 于 2015-03-07 15:57:23 编辑 百度经验里的url,如:http://jingyan.baidu.com/article/e2284b2b24eeb2e2e6118dfd.html

直接看页面源代码,是有文章数据。
但是用curl .都无法正常获取文章内容。
这是为什么?已经伪造了IP,来路,cookie等,但还是抓取不到。
注意:在本地可以抓取,但是上传到服务器就不行了,
测试了三个服务器,SAE,阿里云,商务中国的空间,都无法获取。
百度是通过什么防止抓取数据的?怎么破解?

以下是代码:
<br />function fcontents( $url, $timeout = 5, $referer = "" ){<br />    $t = parse_url($url);<br />    $ch = curl_init();<br />    $header = array (<br />        'User-Agent: Mozilla/5.0 (Windows NT 5.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.1.1916.153 Safari/537.36','X-FORWARDED-FOR:154.135.25.15', 'CLIENT-IP:154.135.25.15'<br />    );<br />    $cookie_jar = dirname(__FILE__)."/jy.cookie";<br />    curl_setopt($ch, CURLOPT_URL, $url);<br />    curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);<br />    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />    curl_setopt($ch, CURLOPT_HTTPHEADER, $header);<br />    curl_setopt($ch, CURLOPT_REFERER, "http://$t[host]/");   //构造来路 <br />    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar);<br />    curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar);<br />    curl_setopt($ch, CURLOPT_HEADER, 0);<br />    $result = curl_exec($ch);<br />    curl_close($ch);<br />    return $result;<br />}<br />
登入後複製



------解决思路----------------------
他们都支持 curl 吗?
------解决思路----------------------
百度感知到你的IP访问频率很可疑
要么就是有复杂的cookie验证流程
------解决思路----------------------
1.如果本地可以,服务器不行。程序是没有问题的。
2.SAE,阿里云,商务中国的空间
这些都支持curl吗,有试试采集其他地址吗?
3.有可能这段时间这些服务器都采集百度,所以被屏蔽掉了。
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱門文章

倉庫:如何復興隊友
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱門文章

倉庫:如何復興隊友
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱門文章標籤

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

解決方法:您的組織要求您更改 PIN 碼 解決方法:您的組織要求您更改 PIN 碼 Oct 04, 2023 pm 05:45 PM

解決方法:您的組織要求您更改 PIN 碼

Windows 11 上調整視窗邊框設定的方法:變更顏色和大小 Windows 11 上調整視窗邊框設定的方法:變更顏色和大小 Sep 22, 2023 am 11:37 AM

Windows 11 上調整視窗邊框設定的方法:變更顏色和大小

Windows 11 上啟用或停用工作列縮圖預覽的方法 Windows 11 上啟用或停用工作列縮圖預覽的方法 Sep 15, 2023 pm 03:57 PM

Windows 11 上啟用或停用工作列縮圖預覽的方法

Windows 11 上的顯示縮放比例調整指南 Windows 11 上的顯示縮放比例調整指南 Sep 19, 2023 pm 06:45 PM

Windows 11 上的顯示縮放比例調整指南

10種在 Windows 11 上調整亮度的方法 10種在 Windows 11 上調整亮度的方法 Dec 18, 2023 pm 02:21 PM

10種在 Windows 11 上調整亮度的方法

如何在Safari中關閉iPhone的隱私瀏覽身份驗證? 如何在Safari中關閉iPhone的隱私瀏覽身份驗證? Nov 29, 2023 pm 11:21 PM

如何在Safari中關閉iPhone的隱私瀏覽身份驗證?

Linux下更新curl版本教程! Linux下更新curl版本教程! Mar 07, 2024 am 08:30 AM

Linux下更新curl版本教程!

Win10/11數位激活腳本MAS 2.2版本重新支援數位激活 Win10/11數位激活腳本MAS 2.2版本重新支援數位激活 Oct 16, 2023 am 08:13 AM

Win10/11數位激活腳本MAS 2.2版本重新支援數位激活

See all articles