python - 我写的Xpath 为什么爬取不到内容

Question

-- coding:utf-8 --

import lxml,requests,sys
from bs4 import BeautifulSoup
from lxml import etree

reload(sys)
sys.setdefaultencoding("utf-8")

def main():

url = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E6%9A%B4%E8%B5%B0%E6%BC%AB%E7%94%BB&pn=0'

req = requests.get(url).content

# soup = BeautifulSoup(req.content,'lxml')
# imgs = soup.find_all('img')

content = etree.HTML(req)
paths = content.xpath('//*[@id="imgid"]/ul/li[1]/a/img/text()')
# for img in imgs:
#
#     print img

# for img in imgs :

print paths

main()

Answer 1

クローラーを作成するときは、Web ページのソース コードにデータがあるかどうかを xpath を使用して確認する必要があります。ない場合は、非同期で読み込まれていることを意味します

。

1. ブラウザにこのリンクを入力してソースコードを表示し、Ctrl+F を押して imgid の場所を見つけます

リーリー

2. 発見

以下の画像リストは見つかりませんでした。画像はjsによって読み込まれていると判断できます

3. 見つける

F12でネットワークを見てみると（更新しないと見れません）、非同期リクエストで読み込んだ画像情報が見つからなかったので、データはhtmlにあるはずだと推測しましたが、jsに置いて処理していました画像を読み込むとき

上記と同様にソースコードを表示し、パラメータobjURLを検索して実際のURLを見つけます

リーリー

解決策

残りはあなた次第です ~ 以下の実際の URL を解析する方法を見つけてください