Python による Web スクレイピング: CSV をデータベースとして使用する

最近、とても興味深い要望がありました。ある人は、CSV を使用してある場所から別の場所にデータを移行していました。データは読書プロジェクトの書籍登録です。ある時点で、彼女は私にこう言いました。「さあ、残りの作業はロボットのためです。各タイトルの ISBN を取得する必要があります。」彼女が言ったように、それはロボットの仕事なので、ロボットにやらせたらどうでしょうか?

Sigla para International Standard Book Number.

作品には複数の ISBN を含めることができます。これは、各エディションに独自の ISBN があるために発生します。この場合、メディアに互換性があれば、どの ISBN でも機能します。 CSVには以下が登録されました:
->電子ブック
->物理的
->オーディオ

ロジックを見てみましょう:
-> CSV ファイルをアップロードして開きます。
->タイトルの列を抽出します。
->メディア列を抽出します。
->各タイトルについて、ISBN で Google で検索してください。
->ページからタイトルを抽出します。
-> ISBN のリストを抽出します。
->メディアのリストを抽出します。
->登録メディアを確認し、最も近い ISBN を検索します。基準が見つからない場合は、リストの最初の項目を返します。
->後の検証のために、どのメディアから ISBN を取得したかを通知します。

必要なライブラリを見てみましょう:

import requests # para fazer as requisições
from bs4 import BeautifulSoup # para manipular o html recebido
import pandas as pd # para manipular os arquivos CSV
import time
import random # as duas são para gerarmos intervalos aleatórios de acesso

この書籍リストには 600 件以上の項目が含まれており、Google にブロックされたくないため、より人間的なスペースでランダム アクセスを行う予定です。また、ヘッダーを使用して、ページのブラウザー バージョンが必要であることを示します。これを行うには、ブラウザで「ネットワーク」に移動し、「User-Agent」を検索します。

Google で検索するには、次の URL パターンを使用します:

url_base = "https://www.google.com/search?q=isbn" # o que vem depois '=' é a pesquisa

URL にはスペースが含まれないことに注意してください。そのため、タイトル内のスペースは「 」に置き換えます。 pandas では、「スプレッドシート」は DataFrame と呼ばれ、その略語として df が使用されるのが非常に一般的です。最後に、おそらくあなたも私と同じように Windows を使用しているでしょう。その場合、システム アドレス バーは Unix に比べて重視されます。貼り付けた URL を取得し、それを他の形式に反転する関数を作成しましょう。

path = r"C:\caminho\livros.csv"

def invert_url_pattern(url):
   return url.replace("\","/")

path = invert_url_pattern(path)

def search_book(path):
   url_base = "https://www.google.com/search?q=isbn"
   headers = {
   "User-Agent":"seu pc"
   }

   df = pd.read_csv(path, encoding='utf-8')
   books = df["Name"].tolist()
   media = df["media"].tolist()
    # vamos colocar as pesquisas aqui e depois inserir todas no DataFrame
   title_books = []
   isbn_books = []
   media_books = []

   for index, book in enumerate(books):
       time.sleep(random.uniform(60, 90))

       url = url_base + "+" + book.replace(" ", "+")
       req = requests.get(url, headers=headers)

       site = BeautifulSoup(req.text, "html.parser")
       #usamos as class para buscar o conteúdo
       title = site.find("span", class_="Wkr6U")
       isbns = site.find_all("div", class_="bVj5Zb")
       medias = site.find_all("div", class_="TCYkdd")
        #se algo falhar, retornamos uma string vazia
       if(title.text == None):
           title_books.append("")
           isbn_books.append("")
           media_books.append("")
           continue

        # No loop, o último item acessado será o mais recente,
        # pois percorremos a lista de cima para baixo.
        # Por isso, invertendo a lista de ISBNs, garantimos que
        # o mais novo de cada categoria seja processado por último.

       isbns = isbns[::-1]
       unified_data = {}

       for i in range(len(medias)):
           unified_data[medias[i].text] = isbns[i].text

       match media[index]:
           case "ebook":
               isbn_books.append(unified_data["Livro digital"])
               media_books.append("Livro digital")
           case "fisical":
               isbn_books.append(unified_data["Livro capa dura"])
               media_books.append("Livro capa dura")
           case "audio":
               isbn_books.append(unified_data["Audiolivro"])
               media_books.append("Audiolivro")
           case _:
               isbn_books.append(unified_data[0])
               media_books.append("")

       title_books.append(title.text)

   df["Titulo do Livro"] = title_books
   df["ISBN"] = isbn_books
   df["Tipo de Livro"] = media_books

   return df

さて、テストの準備はすべて整いました!テストできるように、私が受け取ったもののサンプル行を残しておきます。

Name	language	media
this other eden	?? english	audio

df = search_book(path)

df.to_csv(invert_url_pattern("C:seu\caminho\para\salvar\nome_do_arquivo.csv"), encoding='utf-8', index=False)

この記事があなたのお役に立ち、日常生活で何かを自動化できることを願っています!

以上がPython による Web スクレイピング: CSV をデータベースとして使用するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。