Webscraping mit Python: CSV als Datenbank verwenden

Ich hatte dieser Tage eine sehr interessante Nachfrage. Eine Person migrierte Daten mithilfe von CSV von einem Ort zum anderen. Bei den Daten handelt es sich um Buchanmeldungen für ein Leseprojekt. Irgendwann sagte sie zu mir: „Nun, jetzt ist der Rest der Arbeit für den Roboter.“ Ich muss mir die ISBN jedes Titels besorgen.“ Wie sie sagte, ist es die Aufgabe eines Roboters. Warum also nicht einen Roboter das tun lassen?

Sigla para International Standard Book Number. 

Ein Werk kann mehrere ISBNs haben, das liegt daran, dass die Editionen eine eigene ISBN haben. In diesem Fall würde jede ISBN funktionieren, sofern das Medium kompatibel ist. Folgendes wurde in der CSV registriert:
-> E-Book
-> körperlich
-> Audio

Kommen wir zur Logik:
-> Laden Sie die CSV-Datei hoch und öffnen Sie sie.
-> Extrahieren Sie die Spalte mit den Titeln.
-> Extrahieren Sie die Medienspalte.
-> Suchen Sie für jeden Titel bei Google nach der ISBN.
-> Extrahieren Sie den Titel aus der Seite.
-> Extrahieren Sie eine Liste der ISBNs.
-> Extrahieren Sie eine Medienliste.
-> Überprüfen Sie die Registrierungsmedien und suchen Sie nach der nächstgelegenen ISBN. Wenn unsere Kriterien nicht gefunden werden, geben Sie den ersten Eintrag in der Liste zurück.
-> Geben Sie zur späteren Überprüfung an, von welchem ​​Medium wir die ISBN übernommen haben.

Sehen wir uns die notwendigen Bibliotheken an:

import requests # para fazer as requisições
from bs4 import BeautifulSoup # para manipular o html recebido
import pandas as pd # para manipular os arquivos CSV
import time
import random # as duas são para gerarmos intervalos aleatórios de acesso

Diese Bücherliste umfasst mehr als 600 Einträge, und da ich nicht von Google blockiert werden möchte, werden wir wahllos und mit einem menschlicheren Raum darauf zugreifen. Außerdem verwenden wir eine Kopfzeile, um anzugeben, dass wir die Browserversion der Seite haben möchten. Gehen Sie dazu in Ihrem Browser auf „Netzwerk“ und suchen Sie nach „User-Agent“.

Für die Suche bei Google verwenden wir das folgende URL-Muster:

url_base = "https://www.google.com/search?q=isbn" # o que vem depois '=' é a pesquisa

Denken Sie daran, dass URLs keine Leerzeichen enthalten. Daher werden wir Leerzeichen in Titeln durch „ “ ersetzen. In Pandas werden „Tabellenkalkulationen“ als „DataFrame“ bezeichnet und es ist sehr üblich, df als Abkürzung zu verwenden. Schließlich verwenden Sie möglicherweise Windows wie ich. In diesem Fall sind die Systemadressleisten im Vergleich zu Unix investiert. Schreiben wir eine Funktion, die die von uns eingefügte URL in das andere Format umwandelt.

path = r"C:\caminho\livros.csv"

def invert_url_pattern(url):
    return url.replace("\","/")

path = invert_url_pattern(path)

def search_book(path):
    url_base = "https://www.google.com/search?q=isbn"
    headers = {
    "User-Agent":"seu pc"
    }
    
    df = pd.read_csv(path, encoding='utf-8')
    books = df["Name"].tolist()
    media = df["media"].tolist()
    # vamos colocar as pesquisas aqui e depois inserir todas no DataFrame
    title_books = []
    isbn_books = []
    media_books = []  

    for index, book in enumerate(books):
        time.sleep(random.uniform(60, 90))
        
        url = url_base + "+" + book.replace(" ", "+")
        req = requests.get(url, headers=headers)

        site = BeautifulSoup(req.text, "html.parser")
        #usamos as class para buscar o conteúdo
        title = site.find("span", class_="Wkr6U")
        isbns = site.find_all("div", class_="bVj5Zb")
        medias = site.find_all("div", class_="TCYkdd")
        #se algo falhar, retornamos uma string vazia
        if(title.text == None):
            title_books.append("")
            isbn_books.append("")
            media_books.append("")
            continue

        # No loop, o último item acessado será o mais recente, 
        # pois percorremos a lista de cima para baixo. 
        # Por isso, invertendo a lista de ISBNs, garantimos que 
        # o mais novo de cada categoria seja processado por último.

        isbns = isbns[::-1]
        unified_data = {}

        for i in range(len(medias)):
            unified_data[medias[i].text] = isbns[i].text

        match media[index]:
            case "ebook":
                isbn_books.append(unified_data["Livro digital"])
                media_books.append("Livro digital")
            case "fisical":
                isbn_books.append(unified_data["Livro capa dura"])
                media_books.append("Livro capa dura")
            case "audio":
                isbn_books.append(unified_data["Audiolivro"])
                media_books.append("Audiolivro")
            case _:
                isbn_books.append(unified_data[0])
                media_books.append("")

        title_books.append(title.text)

    df["Titulo do Livro"] = title_books
    df["ISBN"] = isbn_books
    df["Tipo de Livro"] = media_books

    return df

Okay, alles bereit für den Test! Ich hinterlasse eine Beispielzeile von dem, was ich erhalten habe, damit Sie es testen können.

Name	language	media
this other eden	?? english	audio

df = search_book(path)

df.to_csv(invert_url_pattern("C:seu\caminho\para\salvar\nome_do_arquivo.csv"), encoding='utf-8', index=False)

Ich hoffe, es war nützlich für Sie und dass Sie etwas in Ihrem täglichen Leben automatisieren können!

Das obige ist der detaillierte Inhalt vonWebscraping mit Python: CSV als Datenbank verwenden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!