利用python的scrapy框架中的css选择器获取不到元素内容
高洛峰
高洛峰 2017-04-18 10:12:41
0
2
785

利用python中的scrapy框架的css选择器对具体标签内容进行获取,但是获取不到内容。
当前网页源码(是js渲染之前的代码):

css选择器代码:urllist = response.css('ul.nav li a::attr(href)')[0::3].extract()
运行结果是:
urllist===================[]
urllist长度============ 0
css选择器内的代码应该是没有错误的,为什么获取不到内容?
由于怀疑是css选择器出现了问题,因此替换xpath选择器,
xpath选择器代码:urllist=response.xpath('//ul[@class ="nav"]/li/a/@href').extract()
但是运行结果和css选择器相同。内容仍为空,长度为0

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

全員に返信(2)
洪涛

CSS セレクター コードに問題があるのではない可能性があります。応答の内容が Web ページに表示されている内容と一致しているかどうかを確認してください。

いいねを押す +0
左手右手慢动作

コマンドラインでscrapyシェルを使用してターゲットURLを追加すると、応答オブジェクトが正常であるかどうかを最初に確認できます。 Web ページのソース コード
をクロールし、この応答オブジェクトを使用して CSS セレクターのコードをデバッグします

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート