Rumah > pembangunan bahagian belakang > Tutorial Python > Webscraping dengan Python: menggunakan CSV sebagai pangkalan data

Webscraping dengan Python: menggunakan CSV sebagai pangkalan data

Mary-Kate Olsen
Lepaskan: 2024-12-30 09:09:09
asal
563 orang telah melayarinya

Webscraping com Python: usando CSV como base de dados

Saya mempunyai permintaan yang sangat menarik hari ini. Seseorang sedang memindahkan data dari satu tempat ke tempat lain menggunakan CSV. Data tersebut adalah pendaftaran buku untuk projek membaca. Pada satu ketika, dia berkata kepada saya: "Nah, kini kerja selebihnya adalah untuk robot. Saya perlu mendapatkan ISBN bagi setiap tajuk." Seperti yang dia katakan, itu adalah tugas robot, jadi mengapa tidak membiarkan robot melakukannya?

Sigla para International Standard Book Number. 
Salin selepas log masuk

Sesuatu karya boleh mempunyai beberapa ISBN, ini berlaku kerana edisi tersebut mempunyai ISBN mereka sendiri. Dalam kes ini, mana-mana ISBN akan berfungsi, jika media itu serasi. Yang berikut telah didaftarkan dalam CSV:
-> ebook
-> fizikal
-> audio

Mari kita ke logiknya:
-> Muat naik dan buka fail CSV.
-> Ekstrak lajur dengan tajuk.
-> Ekstrak lajur media.
-> Untuk setiap tajuk, cari di Google mengikut ISBN.
-> Ekstrak tajuk daripada halaman.
-> Ekstrak senarai ISBN.
-> Ekstrak senarai media.
-> Semak media pendaftaran dan cari ISBN terdekat Jika kriteria kami tidak dijumpai, kembalikan item pertama dalam senarai.
-> Maklumkan dari media mana kami mengambil ISBN untuk pengesahan kemudian.

Jom lihat lib yang diperlukan:

import requests # para fazer as requisições
from bs4 import BeautifulSoup # para manipular o html recebido
import pandas as pd # para manipular os arquivos CSV
import time
import random # as duas são para gerarmos intervalos aleatórios de acesso
Salin selepas log masuk

Senarai buku ini mempunyai lebih daripada 600 item dan kerana saya tidak mahu disekat oleh Google, kami akan membuat akses rawak dan dengan lebih banyak ruang manusia. Kami juga akan menggunakan pengepala untuk menyatakan bahawa kami mahukan versi penyemak imbas halaman. Untuk melakukan ini, pergi ke “rangkaian” dalam penyemak imbas anda dan cari "Ejen Pengguna".

Untuk mencari di Google, kami menggunakan corak URL berikut:

url_base = "https://www.google.com/search?q=isbn" # o que vem depois '=' é a pesquisa
Salin selepas log masuk

Ingat bahawa URL tidak mempunyai ruang, jadi kami akan menggantikan ruang dalam tajuk dengan “ ”. Dalam panda, "hamparan" dipanggil DataFrame dan sangat biasa untuk menggunakan df sebagai singkatan. Akhir sekali, mungkin anda menggunakan Windows seperti saya, yang mana bar alamat sistem dilaburkan berbanding Unix. Mari tulis fungsi yang mengambil URL yang kita tampal dan membalikkannya kepada format lain.

path = r"C:\caminho\livros.csv"

def invert_url_pattern(url):
    return url.replace("\","/")

path = invert_url_pattern(path)

def search_book(path):
    url_base = "https://www.google.com/search?q=isbn"
    headers = {
    "User-Agent":"seu pc"
    }
    
    df = pd.read_csv(path, encoding='utf-8')
    books = df["Name"].tolist()
    media = df["media"].tolist()
    # vamos colocar as pesquisas aqui e depois inserir todas no DataFrame
    title_books = []
    isbn_books = []
    media_books = []  

    for index, book in enumerate(books):
        time.sleep(random.uniform(60, 90))
        
        url = url_base + "+" + book.replace(" ", "+")
        req = requests.get(url, headers=headers)

        site = BeautifulSoup(req.text, "html.parser")
        #usamos as class para buscar o conteúdo
        title = site.find("span", class_="Wkr6U")
        isbns = site.find_all("div", class_="bVj5Zb")
        medias = site.find_all("div", class_="TCYkdd")
        #se algo falhar, retornamos uma string vazia
        if(title.text == None):
            title_books.append("")
            isbn_books.append("")
            media_books.append("")
            continue

        # No loop, o último item acessado será o mais recente, 
        # pois percorremos a lista de cima para baixo. 
        # Por isso, invertendo a lista de ISBNs, garantimos que 
        # o mais novo de cada categoria seja processado por último.

        isbns = isbns[::-1]
        unified_data = {}

        for i in range(len(medias)):
            unified_data[medias[i].text] = isbns[i].text

        match media[index]:
            case "ebook":
                isbn_books.append(unified_data["Livro digital"])
                media_books.append("Livro digital")
            case "fisical":
                isbn_books.append(unified_data["Livro capa dura"])
                media_books.append("Livro capa dura")
            case "audio":
                isbn_books.append(unified_data["Audiolivro"])
                media_books.append("Audiolivro")
            case _:
                isbn_books.append(unified_data[0])
                media_books.append("")

        title_books.append(title.text)

    df["Titulo do Livro"] = title_books
    df["ISBN"] = isbn_books
    df["Tipo de Livro"] = media_books

    return df
Salin selepas log masuk

Baiklah, semuanya sedia untuk kami uji! Saya akan meninggalkan baris contoh tentang apa yang saya terima supaya anda boleh mengujinya.

Name language media
this other eden ?? english audio
df = search_book(path)

df.to_csv(invert_url_pattern("C:seu\caminho\para\salvar\nome_do_arquivo.csv"), encoding='utf-8', index=False)
Salin selepas log masuk

Saya harap ia berguna untuk anda dan anda boleh mengautomasikan sesuatu dalam kehidupan seharian anda!

Atas ialah kandungan terperinci Webscraping dengan Python: menggunakan CSV sebagai pangkalan data. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

sumber:dev.to
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan