Scrapy フレームワークを使用して Flickr 画像ライブラリをクロールする-Python チュートリアル-php.cn

Scrapy フレームワークを使用して Flickr 画像ライブラリをクロールする

WBOY

リリース： 2023-06-22 11:02:07

オリジナル

781 人が閲覧しました

今日の IT 時代では、大量のデータをクロールすることが重要なスキルになっています。ビッグデータテクノロジーの急速な発展に伴い、データクローリングテクノロジーは常に更新され、改善されています。その中でも、Scrapy フレームワークは間違いなく最も一般的に使用され、人気のあるフレームワークであり、データのクローリングと処理において独自の利点と柔軟性を備えています。

この記事では、Scrapy フレームワークを使用して Flickr 画像ライブラリをクロールする方法を紹介します。 Flickr は、数億枚の写真と非常に大量のデータリソースを保有する写真共有 Web サイトです。 Scrapy フレームワークを使用すると、これらのデータリソースを簡単に取得し、調査と分析を実行したり、それらを使用してアプリケーションモデルを構築したりすることができ、ビッグデータの力をより効果的に活用できます。

1. Scrapy フレームワークの概要

Scrapy は、Python 言語に基づいたオープンソースの Web クローラーフレームワークです。「効率」と「保守性」を設計コンセプトとしており、大規模なデータのクローリングと処理に適した包括的なクローラフレームワークを実装しています。 Scrapy フレームワークのコア部分には、次の主要な機能モジュールが含まれています。

エンジン: システム全体のデータフローの処理と、さまざまなコンポーネント間の対話とデータ転送の制御を担当します。
スケジューラー (Scheduler): エンジンが発行したリクエスト (Request) を分類し、ダウンローダー (Downloader) に渡す役割を担います。
ダウンローダー (ダウンローダー): Web ページのコンテンツをダウンロードし、Web ページから返されたコンテンツを処理して、それをエンジンに引き渡します。
パーサー (スパイダー): ダウンローダーによってダウンロードされた Web ページを解析し、必要なデータを抽出して構造化データに編成する役割を果たします。
パイプライン: データベースやファイルへの保存など、処理されたデータの後続の処理を担当します。

2. Flickr API キーの取得

データをクロールする前に、Flickr API キーを申請して、Flickr データベースへのアクセス許可を取得する必要があります。 Flickr 開発者 Web サイト (https://www.flickr.com/services/api/misc.api_keys.html) に登録することで API KEY を取得できます。具体的な申請手順は次のとおりです。

① まず、https://www.flickr.com/services/apps/create/apply/ URL を入力して API KEY を申請する必要があります。

②この Web サイトに入ったら、ログインする必要があります。アカウントをお持ちでない場合は、自分で登録する必要があります。

③ログイン後、Flickr 申請フォームに記入して送信する必要があります。フォームには、主に次の 2 つの情報を入力する必要があります。

小規模アプリケーションの名前
「非営利」目的の説明

④申請フォームに記入すると、システムは API KEY と SECRET を生成します。これら 2 つの情報を後で使用できるように保存する必要があります。

3. Scrapy フレームワークを使用した Flickr 画像ライブラリのスクレイピング実装

次に、Scrapy フレームワークを使用して Flickr 画像ライブラリのデータをクロールする方法を紹介します。

1. Scrapy クローラーを作成する

まず、新しい Scrapy プロジェクトを作成し、そのプロジェクト内にクローラーファイルを作成する必要があります。クローラーファイルでは、Flickr API データベースの基本情報とデータの保存場所を設定する必要があります。

import time
import json
import scrapy
from flickr.items import FlickrItem

class FlickrSpider(scrapy.Spider):
    name = 'flickr'
    api_key = 'YOUR_API_KEY'  # 这里填写你自己的API Key
    tags = 'cat,dog'  # 这里将cat和dog作为爬取的关键词，你可以自由定义
    format = 'json'
    nojsoncallback = '1'
    page = '1'
    per_page = '50'

    start_urls = [
        'https://api.flickr.com/services/rest/?method=flickr.photos.search&'
        'api_key={}'
        '&tags={}'
        '&page={}'
        '&per_page={}'
        '&format={}'
        '&nojsoncallback={}'.format(api_key, tags, page, per_page, format, nojsoncallback)
    ]

    def parse(self, response):
        results = json.loads(response.body_as_unicode())
        for photo in results['photos']['photo']:
            item = FlickrItem()
            item['image_title'] = photo['title']
            item['image_url'] = 'https://farm{}.staticflickr.com/{}/{}_{}.jpg'.format(
                photo['farm'], photo['server'], photo['id'], photo['secret'])
            yield item

        if int(self.page) <= results['photos']['pages']:
            self.page = str(int(self.page) + 1)
            next_page_url = 'https://api.flickr.com/services/rest/?method=flickr.photos.search&' 
                            'api_key={}' 
                            '&tags={}' 
                            '&page={}' 
                            '&per_page={}' 
                            '&format={}' 
                            '&nojsoncallback={}'.format(self.api_key, self.tags, self.page, self.per_page, self.format, self.nojsoncallback)
            time.sleep(1)  # 设置延时1秒钟
            yield scrapy.Request(url=next_page_url, callback=self.parse)

ログイン後にコピー

クローラーファイルでは、キーワード「cat」と「dog」を設定します。 Flickr 画像ライブラリ、次にページめくりパラメータを設定し、形式を json に設定します。 parse 関数で各画像の情報を抽出して処理し、yield を使用して返しました。

次に、データの保存場所と形式を定義し、settings.py で設定する必要があります:

ITEM_PIPELINES = {
   'flickr.pipelines.FlickrPipeline': 300,
}

IMAGES_STORE = 'images'

ログイン後にコピー

2. アイテムパイプラインの書き込み

次に、収集した画像データを処理して保存するアイテムパイプラインを作成する必要があります:

import scrapy
from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem

class FlickrPipeline(object):
    def process_item(self, item, spider):
        return item

class FlickrImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for image_url in item['image_url']:
            try:
                yield scrapy.Request(image_url)
            except Exception as e:
                pass

    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        item['image_paths'] = image_paths
        return item

ログイン後にコピー

3. プログラムを実行します

上記の作業が完了したら、コードを記述した後、Scrapy フレームワークを実行してデータクローリング操作を実装できます。コマンドラインに次の指示を入力する必要があります。

scrapy crawl flickr

ログイン後にコピー

プログラムの実行が開始されると、クローラーは Flickr データベース内の「猫」と「犬」に関する写真をクロールし、指定された場所に写真を保存します。保管場所は真ん中。

4. 概要

この記事の導入部を通じて、Scrapy フレームワークを使用して Flickr 画像ライブラリをクロールする方法を詳しく学びました。実際のアプリケーションでは、必要に応じてキーワード、ページ数、または画像ストレージのパスを変更できます。 Scrapy フレームワークはどの側面から見ても成熟した機能豊富なクローラフレームワークであり、常に更新される機能と柔軟な拡張性により、データクローリング作業を強力にサポートします。

以上がScrapy フレームワークを使用して Flickr 画像ライブラリをクロールするの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。