Saya mempunyai permintaan yang sangat menarik hari ini. Seseorang sedang memindahkan data dari satu tempat ke tempat lain menggunakan CSV. Data tersebut adalah pendaftaran buku untuk projek membaca. Pada satu ketika, dia berkata kepada saya: "Nah, kini kerja selebihnya adalah untuk robot. Saya perlu mendapatkan ISBN bagi setiap tajuk." Seperti yang dia katakan, itu adalah tugas robot, jadi mengapa tidak membiarkan robot melakukannya?
Sigla para International Standard Book Number.Salin selepas log masuk
Sesuatu karya boleh mempunyai beberapa ISBN, ini berlaku kerana edisi tersebut mempunyai ISBN mereka sendiri. Dalam kes ini, mana-mana ISBN akan berfungsi, jika media itu serasi. Yang berikut telah didaftarkan dalam CSV:
-> ebook
-> fizikal
-> audio
Mari kita ke logiknya:
-> Muat naik dan buka fail CSV.
-> Ekstrak lajur dengan tajuk.
-> Ekstrak lajur media.
-> Untuk setiap tajuk, cari di Google mengikut ISBN.
-> Ekstrak tajuk daripada halaman.
-> Ekstrak senarai ISBN.
-> Ekstrak senarai media.
-> Semak media pendaftaran dan cari ISBN terdekat Jika kriteria kami tidak dijumpai, kembalikan item pertama dalam senarai.
-> Maklumkan dari media mana kami mengambil ISBN untuk pengesahan kemudian.
Jom lihat lib yang diperlukan:
import requests # para fazer as requisições from bs4 import BeautifulSoup # para manipular o html recebido import pandas as pd # para manipular os arquivos CSV import time import random # as duas são para gerarmos intervalos aleatórios de acesso
Senarai buku ini mempunyai lebih daripada 600 item dan kerana saya tidak mahu disekat oleh Google, kami akan membuat akses rawak dan dengan lebih banyak ruang manusia. Kami juga akan menggunakan pengepala untuk menyatakan bahawa kami mahukan versi penyemak imbas halaman. Untuk melakukan ini, pergi ke “rangkaian” dalam penyemak imbas anda dan cari "Ejen Pengguna".
Untuk mencari di Google, kami menggunakan corak URL berikut:
url_base = "https://www.google.com/search?q=isbn" # o que vem depois '=' é a pesquisa
Ingat bahawa URL tidak mempunyai ruang, jadi kami akan menggantikan ruang dalam tajuk dengan “ ”. Dalam panda, "hamparan" dipanggil DataFrame dan sangat biasa untuk menggunakan df sebagai singkatan. Akhir sekali, mungkin anda menggunakan Windows seperti saya, yang mana bar alamat sistem dilaburkan berbanding Unix. Mari tulis fungsi yang mengambil URL yang kita tampal dan membalikkannya kepada format lain.
path = r"C:\caminho\livros.csv" def invert_url_pattern(url): return url.replace("\","/") path = invert_url_pattern(path) def search_book(path): url_base = "https://www.google.com/search?q=isbn" headers = { "User-Agent":"seu pc" } df = pd.read_csv(path, encoding='utf-8') books = df["Name"].tolist() media = df["media"].tolist() # vamos colocar as pesquisas aqui e depois inserir todas no DataFrame title_books = [] isbn_books = [] media_books = [] for index, book in enumerate(books): time.sleep(random.uniform(60, 90)) url = url_base + "+" + book.replace(" ", "+") req = requests.get(url, headers=headers) site = BeautifulSoup(req.text, "html.parser") #usamos as class para buscar o conteúdo title = site.find("span", class_="Wkr6U") isbns = site.find_all("div", class_="bVj5Zb") medias = site.find_all("div", class_="TCYkdd") #se algo falhar, retornamos uma string vazia if(title.text == None): title_books.append("") isbn_books.append("") media_books.append("") continue # No loop, o último item acessado será o mais recente, # pois percorremos a lista de cima para baixo. # Por isso, invertendo a lista de ISBNs, garantimos que # o mais novo de cada categoria seja processado por último. isbns = isbns[::-1] unified_data = {} for i in range(len(medias)): unified_data[medias[i].text] = isbns[i].text match media[index]: case "ebook": isbn_books.append(unified_data["Livro digital"]) media_books.append("Livro digital") case "fisical": isbn_books.append(unified_data["Livro capa dura"]) media_books.append("Livro capa dura") case "audio": isbn_books.append(unified_data["Audiolivro"]) media_books.append("Audiolivro") case _: isbn_books.append(unified_data[0]) media_books.append("") title_books.append(title.text) df["Titulo do Livro"] = title_books df["ISBN"] = isbn_books df["Tipo de Livro"] = media_books return df
Baiklah, semuanya sedia untuk kami uji! Saya akan meninggalkan baris contoh tentang apa yang saya terima supaya anda boleh mengujinya.
Name | language | media |
---|---|---|
this other eden | ?? english | audio |
df = search_book(path) df.to_csv(invert_url_pattern("C:seu\caminho\para\salvar\nome_do_arquivo.csv"), encoding='utf-8', index=False)
Saya harap ia berguna untuk anda dan anda boleh mengautomasikan sesuatu dalam kehidupan seharian anda!
Atas ialah kandungan terperinci Webscraping dengan Python: menggunakan CSV sebagai pangkalan data. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!