利用python中的scrapy框架的css选择器对具体标签内容进行获取,但是获取不到内容。
当前网页源码(是js渲染之前的代码):
css选择器代码:urllist = response.css('ul.nav li a::attr(href)')[0::3].extract()
运行结果是:
urllist===================[]
urllist长度============ 0
css选择器内的代码应该是没有错误的,为什么获取不到内容?
由于怀疑是css选择器出现了问题,因此替换xpath选择器,
xpath选择器代码:urllist=response.xpath('//ul[@class ="nav"]/li/a/@href').extract()
但是运行结果和css选择器相同。内容仍为空,长度为0
Peut-être que votre problème ne vient pas du code du sélecteur CSS. Vérifiez si le contenu de la réponse est cohérent avec ce que vous voyez sur la page Web
Vous essayez d'utiliser Scrapy Shell dans la ligne de commande pour ajouter l'URL cible, puis vous pouvez obtenir un objet de réponse. Vérifiez d'abord si l'objet de réponse est normal. Vous pouvez d'abord vérifier le corps de réponse pour voir si vous le souhaitez. explorez-le. Récupérez le code source de la page Web
puis utilisez cet objet de réponse pour déboguer le code de votre sélecteur CSS