Kenapa saya mendapat ralat 'senarai keluar dari jarak' apabila menggunakan crawler python?

Ralat "Senarai Indeks Keluar Daripada" dalam Python Crawler: Sebab dan Penyelesaian

Apabila menggunakan Python dan BeautifulSoup untuk merangkak web, anda sering menemui list index out of range kesilapan. Masalah ini boleh berlaku walaupun kod tidak diubahsuai, terutamanya apabila berurusan dengan laman web dinamik atau perubahan struktur laman web. Artikel ini menganalisis punca kesilapan ini dan menyediakan penyelesaian yang berkesan.

Berikut adalah kod sampel yang menunjukkan apa yang mungkin menyebabkan kesilapan ini berlaku:

permintaan import
dari bs4 import cantikSoup

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Applewebkit/537.36 (khtml, seperti gecko) Chrome/124.0.0.0 Safari/537.36 edg/124.0.0'}
respons = requests.get ("https://www.iqiyi.com/ranks1/3/0", headers = headers)
cetak (respons.status_code)
respons = response.text
sup = indahSoup (respons, "html.parser")

def extract_data ():
    tajuk = [title.get_text (). Strip () untuk tajuk dalam soup.find_all ("div", kelas _ = "rvi__tit1")]
    haba = [heat.get_text (). Strip () untuk haba dalam sup.find_all ("span", kelas _ = "rvi__index__num")]
    Pengenalan = [intro.get_text (). Strip () untuk intro dalam sup.find_all ("p", kelas _ = "rvi__des2")]
    Tajuk kembali, panas, perkenalan

def display_data (tajuk, haba, perkenalan):
    min_len = min (len (tajuk), len (haba), len (perkenalan))
    untuk saya dalam julat (min_len):
        cetak (f "ranking: {i 1}, tajuk: {tajuk [i]}, populariti: {heat [i]}, pengenalan: {pengenalan [i]}")


jika __name__ == '__main__':
    tajuk, haba, pengenalan = extract_data ()
    display_data (tajuk, haba, perkenalan)

Dalam contoh ini, list index out of range biasanya berlaku dalam fungsi display_data . Alasannya ialah: panjang tiga senarai titles , heat , dan introductions mungkin tidak konsisten. Jika salah satu senarai mempunyai panjang kurang daripada 10 (atau julat gelung), ralat indeks yang terikat akan berlaku apabila mengakses elemen senarai.

Penyelesaian:

Kuncinya adalah untuk memastikan bahawa sebelum mengakses elemen senarai, panjang senarai diperiksa dan hanya elemen dalam julat indeks yang sah diakses. Kod yang lebih baik adalah seperti berikut:

permintaan import
dari bs4 import cantikSoup

# ... (tajuk dan permintaan tetap sama) ...

def extract_data ():
    # ... (Pengekstrakan tetap sama) ...

def display_data (tajuk, haba, perkenalan):
    min_len = min (len (tajuk), len (haba), len (perkenalan)) # Cari senarai terpendek
    untuk saya dalam julat (min_len):
        cetak (f "ranking: {i 1}, tajuk: {tajuk [i]}, populariti: {heat [i]}, pengenalan: {pengenalan [i]}")


jika __name__ == '__main__':
    tajuk, haba, pengenalan = extract_data ()
    display_data (tajuk, haba, perkenalan)

Dengan mengira panjang terpendek dari tiga senarai min_len dan menggunakan min_len sebagai julat gelung, kami memastikan bahawa tiada elemen di luar julat indeks senarai diakses, dengan berkesan mengelakkan list index out of range . Ini adalah cara pemprosesan yang lebih mantap yang boleh menyesuaikan diri dengan perubahan dalam struktur laman web yang berbeza dan jumlah data. Di samping itu, menambahkan mekanisme pengendalian ralat (seperti blok try-except ) juga merupakan amalan pengaturcaraan yang baik yang dapat mengendalikan situasi yang lebih kompleks.

Atas ialah kandungan terperinci Kenapa saya mendapat ralat 'senarai keluar dari jarak' apabila menggunakan crawler python?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!