BoardGameGeek データの Python フェッチャーを更新しました

このスクリプトは、BoardGameGeek API からアイテム データを取得し、CSV ファイルにデータを保存します。

以前のスクリプトを更新しました。 API 応答は XML 形式であり、すべての項目を一度にフェッチするエンドポイントがないため、前のスクリプトは指定された ID 範囲をループし、項目ごとに 1 つずつ呼び出しを行います。これは最適ではなく、ID の範囲が大きくなると時間がかかり (現在、BGG で利用できるアイテム (ID) の最大数は 400k に達します)、結果は信頼できない可能性があります。したがって、このスクリプトにいくつかの変更を加えると、より多くのアイテム ID がパラメータ値として単一のリクエスト URL に追加され、これにより、単一の応答で複数のアイテムが返されるようになります (単一の応答で返される最高値は ~800 でした。BGG)最終的にはこれを変更する可能性があります。必要に応じて、batch_size を簡単に調整できます)。

さらに、このスクリプトはボード ゲームに関連するデータだけでなく、すべてのアイテムを取得します。

各ボード ゲームについて取得および保存される情報は次のとおりです:

名前、ゲーム ID、タイプ、レーティング、重み、公開年、最小プレイヤー数、最大プレイヤー数、最小プレイ時間、最大支払い時間、最小年齢、所有者、カテゴリ、メカニクス、デザイナー、アーティスト、発行者。

このスクリプトの更新内容は次のとおりです。まず、このスクリプトに必要なライブラリをインポートします。

# Import libraries
from bs4 import BeautifulSoup
from csv import DictWriter
import pandas as pd
import requests
import time

以下はIDの範囲に基づいてスクリプトが完了したときに呼び出される関数です。また、リクエスト時にエラーが発生した場合、例外が発生した時点までにゲーム リストに追加されたすべてのデータを保存するために、この関数が呼び出されます。

# CSV file saving function
def save_to_csv(games):
    csv_header = [
        'name', 'game_id', 'type', 'rating', 'weight', 'year_published', 'min_players', 'max_players',
        'min_play_time', 'max_play_time', 'min_age', 'owned_by', 'categories',
        'mechanics', 'designers', 'artists', 'publishers'
    ]
    with open('bgg.csv', 'a', encoding='UTF8') as f:
        dictwriter_object = DictWriter(f, fieldnames=csv_header)
        if f.tell() == 0:
            dictwriter_object.writeheader()
        dictwriter_object.writerows(games)

リクエストのヘッダーを定義する必要があります。リクエスト間の一時停止は、SLEEP_BETWEEN_REQUESTS を通じて設定できます (レート制限が 1 秒あたり 2 リクエストであるという情報をいくつか見たことがありますが、一時停止を 0 に設定しても問題はなかったので、古い情報である可能性があります)。さらに、ここでは開始ポイント ID (start_id_range)、最大範囲 (max_id_range) の値を設定し、batch_size は応答が返されるゲーム数です。ベース URL はこのセクションで定義されますが、ID はスクリプトの次の部分で追加されます。

# Define request url headers
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.16; rv:85.0) Gecko/20100101 Firefox/85.0",
    "Accept-Language": "en-GB, en-US, q=0.9, en"
}

# Define sleep timer value between requests
SLEEP_BETWEEN_REQUEST = 0

# Define max id range
start_id_range = 0
max_id_range = 403000
batch_size = 800
base_url = "https://boardgamegeek.com/xmlapi2/thing?id="

次の部分は、このスクリプトのメイン ロジックです。最初に、バッチ サイズに基づいて、定義された ID 範囲内であるが、batch_size で定義された数を超えない ID の文字列が作成され、URL の id パラメーターに追加されます。これにより、各応答はバッチ サイズと同じ数のアイテムのデータを返します。その後、応答ごとにデータを処理してゲーム リストに追加し、最後に CSV ファイルに追加します。

# Main loop that will iterate between the starting and maximum range in intervals of the batch size
for batch_start in range(start_id_range, max_id_range, batch_size):
    # Make sure that the batch size will not exceed the maximum ids range
    batch_end = min(batch_start + batch_size - 1, max_id_range)
    # Join and append to the url the IDs within batch size
    ids = ",".join(map(str, range(batch_start, batch_end + 1)))
    url = f"{base_url}?id={ids}&stats=1"

    # If by any chance there is an error, this will throw the exception and continue on the next batch
    try:
        response = requests.get(url, headers=headers)
    except Exception as err:
        print(err)
        continue


    if response.status_code == 200:
        soup = BeautifulSoup(response.text, features="html.parser")
        items = soup.find_all("item")
        games = []
        for item in items:
            if item:
                try:
                    # Find values in the XML
                    name = item.find("name")['value'] if item.find("name") is not None else 0
                    year_published = item.find("yearpublished")['value'] if item.find("yearpublished") is not None else 0
                    min_players = item.find("minplayers")['value'] if item.find("minplayers") is not None else 0
                    max_players = item.find("maxplayers")['value'] if item.find("maxplayers") is not None else 0
                    min_play_time = item.find("minplaytime")['value'] if item.find("minplaytime") is not None else 0
                    max_play_time = item.find("maxplaytime")['value'] if item.find("maxplaytime") is not None else 0
                    min_age = item.find("minage")['value'] if item.find("minage") is not None else 0
                    rating = item.find("average")['value'] if item.find("average") is not None else 0
                    weight = item.find("averageweight")['value'] if item.find("averageweight") is not None else 0
                    owned = item.find("owned")['value'] if item.find("owned") is not None else 0


                    link_type = {'categories': [], 'mechanics': [], 'designers': [], 'artists': [], 'publishers': []}

                    links = item.find_all("link")

                    # Append value(s) for each link type
                    for link in links:                            
                        if link['type'] == "boardgamecategory":
                            link_type['categories'].append(link['value'])
                        if link['type'] == "boardgamemechanic":
                            link_type['mechanics'].append(link['value'])
                        if link['type'] == "boardgamedesigner":
                            link_type['designers'].append(link['value'])
                        if link['type'] == "boardgameartist":
                            link_type['artists'].append(link['value'])
                        if link['type'] == "boardgamepublisher":
                            link_type['publishers'].append(link['value'])

                    # Append 0 if there is no value for any link type
                    for key, ltype in link_type.items():
                        if not ltype:
                            ltype.append("0")

                    game = {
                        "name": name,
                        "game_id": item['id'],
                        "type": item['type'],
                        "rating": rating,
                        "weight": weight,
                        "year_published": year_published,
                        "min_players": min_players,
                        "max_players": max_players,
                        "min_play_time": min_play_time,
                        "max_play_time": max_play_time,
                        "min_age": min_age,
                        "owned_by": owned,
                        "categories": ', '.join(link_type['categories']),
                        "mechanics": ', '.join(link_type['mechanics']),
                        "designers": ', '.join(link_type['designers']),
                        "artists": ', '.join(link_type['artists']),
                        "publishers": ', '.join(link_type['publishers']),
                    }

                    # Append current item to games list
                    games.append(game)
                except TypeError:
                    print(">>> NoneType error. Continued on the next item.")
                    continue
        save_to_csv(games)

        print(f">>> Request successful for batch {batch_start}-{batch_end}")
    else:
        print(f">>> FAILED batch {batch_start}-{batch_end}")

    # Pause between requests
    time.sleep(SLEEP_BETWEEN_REQUEST)

以下では、CSV ファイル内のレコードの最初の数行を pandas DataFrame としてプレビューできます。

# Preview the CSV as pandas DataFrame
df = pd.read_csv('./bgg.csv')
print(df.head(5))

以上がBoardGameGeek データの Python フェッチャーを更新しましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。