使用Python的Scrapy框架十分鐘爬取美女圖

Scrapy是一個使用Python編寫的，輕量級的，簡單輕巧，並且使用起來非常的方便。使用Scrapy可以很方便的完成網上數據的採集工作，它為我們完成了大量的工作，而不需要自己費大力氣去開發。本文介紹了使用Python的Scrapy框架十分鐘爬取美女圖,需要的朋友可以參考下

簡介

scrapy 是一個 python 下面功能豐富、使用方便的爬蟲框架。用scrapy 可以快速的開發一個簡單的爬蟲，官方給出的一個簡單例子足以證明其強大：

快速開發

下面開始10分鐘倒計時：

看看之前我們寫過的scrapy 入門文章《零基礎寫python爬蟲之使用Scrapy框架寫爬蟲

1.初始化專案

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录

. Item ，新增image_urls 和images ，為下載圖片做準備。

修改 start_urls 為初始頁面, 新增 parse 用於處理清單頁， 新增 parse_item 處理項目頁面。

3. 修改設定檔：

scrapy crawl meizitu

4. 運行項目

等一會兒，就是收穫的時候了

更多使用Python的Scrapy框架十分鐘爬取美女圖相關文章請關注PHP中文網！