python - 关于 scrapy 的 pipeline 和 items 问题
PHP中文网
PHP中文网 2017-04-18 09:49:55
0
3
508

能不能实现这种:

  1. aItem的数据由aPipeline处理

  2. bItem的数据由bPipeline处理

PHP中文网
PHP中文网

认证高级PHP讲师

全員に返信(3)
Peter_Zhu

これが目的ですか?
たとえば、items.py には次の項目があります

その後、pipelines.py の process_item 関数で次のことができます

このようにして、異なるデータを個別に処理できます。

いいねを押す +0
Peter_Zhu

パイプライン内の結果がどのクローラーであるかを判断できます:

リーリー

1 つのプロジェクト内にこの種の複数のクローラがある場合、異なるクローラはパイプライン内で異なるロジックを使用する必要があると、scrapy の作者は説明しました。
行って見てください

いいねを押す +0
洪涛

はい、パイプラインの process_item にはスパイダー パラメーターがあり、このパイプラインを使用するために対応するスパイダーをフィルターできます

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート
私たちについて 免責事項 Sitemap
PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!