Verwenden Sie das Scrapy-Framework von Python, um wunderschöne Frauenbilder in zehn Minuten zu crawlen

Scrapy ist in Python geschrieben, leicht, einfach und leicht und sehr bequem zu verwenden. Die Verwendung von Scrapy kann die Sammlung von Online-Daten problemlos vervollständigen. Es hat uns viel Arbeit abgenommen, ohne dass wir große Anstrengungen unternehmen müssen, um es selbst zu entwickeln. In diesem Artikel wird die Verwendung des Scrapy-Frameworks von Python zum Crawlen schöner Bilder in zehn Minuten vorgestellt. Freunde, die es benötigen, können sich auf die folgende

Einführung

Scrapy ist ein Python-Framework. Das Folgende ist ein Crawler-Framework, das reich an Funktionen ist und schnell und einfach zu verwenden ist. Sie können Scrapy verwenden, um schnell einen einfachen Crawler zu entwickeln. Ein einfaches Beispiel des Beamten reicht aus, um seine Leistungsfähigkeit zu beweisen:

Schnelle Entwicklung

Der 10-Minuten-Countdown beginnt unten:

Bevor Sie beginnen, können Sie natürlich einen Blick auf den kratzigen Einführungsartikel werfen, den wir zuvor geschrieben haben: „Python-Crawler von Zero Basics schreiben“. : Scrapy Framework zum Schreiben von Crawlern verwenden

1 Initialisieren Sie das Projekt

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com

2. Spider-Code hinzufügen:

Scrapy.Item definieren, image_urls und Bilder hinzufügen und das Herunterladen von Bildern vorbereiten.

Ändern Sie start_urls auf der Startseite, fügen Sie parse hinzu, um die Listenseite zu verarbeiten, und fügen Sie parse_item hinzu, um die Elementseite zu verarbeiten.

3. Ändern Sie die Konfigurationsdatei:

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录

4. Führen Sie das Projekt aus:

scrapy crawl meizitu

Sehen Sie sich die Renderings des Projektbetriebs an

Warten Sie eine Weile, es ist Zeit zu ernten

Weitere Scrapy-Frameworks mit Python Für Artikel zum Crawlen von Schönheitsbildern in wenigen Minuten achten Sie bitte auf die chinesische PHP-Website!