Scrapy est écrit en Python, léger, simple et léger, et très pratique à utiliser. L'utilisation de Scrapy peut facilement compléter la collecte de données en ligne. Cela nous a permis de réaliser beaucoup de travail sans avoir à déployer de gros efforts pour les développer nous-mêmes. Cet article présente l'utilisation du framework Scrapy de Python pour explorer de belles photos de femmes en dix minutes. Les amis qui en ont besoin peuvent se référer à
Introduction
. Scrapy est un python. Ce qui suit est un framework de robots riche en fonctions et rapide et facile à utiliser. Vous pouvez utiliser Scrapy pour développer rapidement un robot simple. Un exemple simple donné par le responsable suffit à prouver sa puissance :
Développement rapide
Le compte à rebours de 10 minutes commence ci-dessous : Bien sûr, avant de commencer, vous pouvez jeter un œil à l'article d'introduction scrapy que nous avons écrit auparavant "Writing Python Crawlers from Zero Basics : Utilisation du framework Scrapy pour écrire des robots1 Initialiser le projet
scrapy startproject mzt cd mzt scrapy genspider meizitu meizitu.com
2. . Ajoutez du code spider :
Définissez scrapy.Item, ajoutez des image_urls et des images, et préparez le téléchargement des images. Modifiez start_urls sur la page initiale, ajoutez parse pour traiter la page de liste et ajoutez parse_item pour traiter la page d'élément.3. Modifier le fichier de configuration :
DOWNLOAD_DELAY = 1 # 添加下载延迟配置 ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline IMAGES_STORE = '.' # 设置图片保存目录
4. Exécutez le projet :
scrapy crawl meizitu
Regardez les rendus de fonctionnement du projet
Attendez un peu, il est temps de récolter