有的说是因为代理.
我的浏览器倒是经常开着代理, 但是我已经关闭了.
我特意查看了下HTTP报文, 也都是没经过代理的.
但还是会出错.
代码:
import urllib.request
url = "http://news.dbanotes.net/"
req = urllib.request.Request(url)
page = urllib.request.urlopen(req).read().decode("UTF-8")
print(page)python版本: 3.5.1
报错信息:
urllib.error.HTTPError: HTTP Error 404: Not Found
应该可以排除以下的问题:
代理
网络问题
url不存在
代码有错
至于反爬虫这个我应该可能性也不大,
一来我试了很多个URL, 基本就是六四分, 有的能访问, 有的不能, 而且我们学校的官网那么, 我才不信他会...
二来我加了User-Agent的首部还是不能访问.
我這邊在windows下的python 3.5.2是沒有問題的。
建議你抓包比較一下和瀏覽器訪問時請求有什麼不同。
這個有可能是你的agent的設定值有關，因為有的網站會檢查這個，來防止非瀏覽器進行爬蟲
你把瀏覽器中的 headers 和 cookies 複製出來，加入到urllib的Request物件中。
模擬瀏覽器~~
很重要的一個原因，你程式中請求帶過去的agen頭被對方封了，換下agen頭試試吧。
用不著Request 吧，直接urlopen呢