利用python的scrapy框架中的css选择器获取不到元素内容
高洛峰
高洛峰 2017-04-18 10:12:41
0
2
792

利用python中的scrapy框架的css选择器对具体标签内容进行获取,但是获取不到内容。
当前网页源码(是js渲染之前的代码):

css选择器代码:urllist = response.css('ul.nav li a::attr(href)')[0::3].extract()
运行结果是:
urllist===================[]
urllist长度============ 0
css选择器内的代码应该是没有错误的,为什么获取不到内容?
由于怀疑是css选择器出现了问题,因此替换xpath选择器,
xpath选择器代码:urllist=response.xpath('//ul[@class ="nav"]/li/a/@href').extract()
但是运行结果和css选择器相同。内容仍为空,长度为0

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

répondre à tous(2)
洪涛

Peut-être que votre problème ne vient pas du code du sélecteur CSS. Vérifiez si le contenu de la réponse est cohérent avec ce que vous voyez sur la page Web

左手右手慢动作

Vous essayez d'utiliser Scrapy Shell dans la ligne de commande pour ajouter l'URL cible, puis vous pouvez obtenir un objet de réponse. Vérifiez d'abord si l'objet de réponse est normal. Vous pouvez d'abord vérifier le corps de réponse pour voir si vous le souhaitez. explorez-le. Récupérez le code source de la page Web
puis utilisez cet objet de réponse pour déboguer le code de votre sélecteur CSS

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal