利用python的scrapy框架中的css选择器获取不到元素内容
高洛峰
高洛峰 2017-04-18 10:12:41
0
2
790

利用python中的scrapy框架的css选择器对具体标签内容进行获取,但是获取不到内容。
当前网页源码(是js渲染之前的代码):

css选择器代码:urllist = response.css('ul.nav li a::attr(href)')[0::3].extract()
运行结果是:
urllist===================[]
urllist长度============ 0
css选择器内的代码应该是没有错误的,为什么获取不到内容?
由于怀疑是css选择器出现了问题,因此替换xpath选择器,
xpath选择器代码:urllist=response.xpath('//ul[@class ="nav"]/li/a/@href').extract()
但是运行结果和css选择器相同。内容仍为空,长度为0

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

모든 응답(2)
洪涛

CSS 선택기 코드에 문제가 없을 수도 있습니다. 응답 내용이 웹페이지에 표시된 내용과 일치하는지 확인하세요.

左手右手慢动作

명령줄에서 scrapy Shell을 사용하여 대상 URL을 추가한 다음 응답 개체를 얻을 수 있습니다. 먼저 응답 개체가 정상인지 확인하려면 먼저 response.body를 확인하세요. 크롤링하여 웹페이지
의 소스 코드를 가져온 다음 이 응답 개체를 사용하여 CSS 선택기

의 코드를 디버깅하세요.
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿