这是出现类似问题的一个网页http://detail.zol.com.cn/inde...
测试代码
import urllib2
url = 'http://detail.zol.com.cn/inde...'
response = None
try:
response = urllib2.urlopen(url,timeout=5)
html = response.read()
print html
print "hehe"
except urllib2.URLError as e:
if hasattr(e, 'code'):
print 'Error code:',e.code
elif hasattr(e, 'reason'):
print 'Reason:',e.reason
finally:
if response:
response.close()
运行结果:C:Python27python.exe C:/Users/Administrator/PycharmProjects/untitled/data02
hehe
Process finished with exit code 0
这段代码运行后也是空值
page = urllib2.Request(url)
page.add_header('Referer', url)
page.add_header('User-Agent', "Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0")
r = urllib2.urlopen(page,timeout=5.0)
html = r.read()
soup = BeautifulSoup(html, 'lxml')
폭력적이고 쿠키를 가져오세요
으아악이 페이지를 방문했을 때 그 페이지도 비어 있는 것을 발견했습니다. 분석해 보니 쿠키가 js로 암호화되어 설정되어 있는 것으로 나타났습니다. 작동하지 않으면 셀레늄을 사용하여 해보자.