Python - Scrapy を使用して Web サイトのコンテンツをクロールするときに、一部のコンテンツの空の値を無視する方法;

Question

JD.com 上のすべての携帯電話情報をクロールしているときに、次の問題が発生しました:
1. 次の図に示すように、戻り値が多すぎます:

2. スパイダーのコードは次のとおりです:

-- コーディング: utf-8 --

importscrapy
fromscrapy.http importRequest
fromueinfo.itemsimportUeinfoItem

クラスMrueSpider(scrapy.Spider):

リーリー

パイプラインのコードは次のとおりです:

-- コーディング: utf-8 --

インポートpymysql

クラスueinfoPipeline(オブジェクト):

リーリー

Answer 1

パイプライン内

def closeメソッドの定義が間違っています

こうあるべき

def close(self, Spider)

内容が空の一部の値を無視する場合については

for を使用するとコードを節約できる可能性があります。
リーリー