利用python中的scrapy框架的css选择器对具体标签内容进行获取,但是获取不到内容。
当前网页源码(是js渲染之前的代码):
css选择器代码:urllist = response.css('ul.nav li a::attr(href)')[0::3].extract()
运行结果是:
urllist===================[]
urllist长度============ 0
css选择器内的代码应该是没有错误的,为什么获取不到内容?
由于怀疑是css选择器出现了问题,因此替换xpath选择器,
xpath选择器代码:urllist=response.xpath('//ul[@class ="nav"]/li/a/@href').extract()
但是运行结果和css选择器相同。内容仍为空,长度为0
Mungkin masalah anda bukan dengan kod pemilih css Periksa sama ada kandungan respons konsisten dengan apa yang anda lihat di halaman web
Anda cuba menggunakan scrapy shell dalam baris arahan untuk menambah url sasaran dan kemudian anda boleh mendapatkan objek tindak balas Mula-mula semak sama ada objek tindak balas adalah normal merangkaknya. Dapatkan kod sumber halaman web
dan kemudian gunakan objek respons ini untuk menyahpepijat kod pemilih css anda