Membina Web Crawler dengan Python: Mengekstrak Data daripada Halaman Web

Labah-labah web, atau perangkak web, ialah program automatik yang direka untuk menavigasi internet, mengumpul dan mengekstrak data tertentu daripada halaman web. Python, yang terkenal dengan sintaksnya yang jelas, perpustakaan yang luas dan komuniti yang aktif, telah muncul sebagai bahasa pilihan untuk membina perangkak ini. Tutorial ini menyediakan panduan langkah demi langkah untuk mencipta perangkak web Python asas untuk pengekstrakan data, termasuk strategi untuk mengatasi langkah anti perangkak, dengan proksi 98IP sebagai penyelesaian yang berpotensi.

Saya. Sediakan Persekitaran Anda

1.1 Memasang Python

Pastikan Python dipasang pada sistem anda. Python 3 disyorkan untuk prestasi unggul dan sokongan perpustakaan yang lebih luas. Muat turun versi yang sesuai daripada tapak web rasmi Python.

1.2 Memasang Perpustakaan Penting

Membina perangkak web biasanya memerlukan perpustakaan Python ini:

• requests: Untuk menghantar permintaan HTTP.
• BeautifulSoup: Untuk menghuraikan HTML dan mengekstrak data.
• pandas: Untuk manipulasi dan penyimpanan data (pilihan).
• Perpustakaan standard seperti time dan random: Untuk mengurus kelewatan dan permintaan rawak untuk mengelakkan pengesanan oleh mekanisme anti-perakak.

Pasang ini menggunakan pip:

pip install requests beautifulsoup4 pandas

II. Membuat Crawler Anda

2.1 Menghantar Permintaan HTTP

Gunakan pustaka requests untuk mengambil kandungan halaman web:

import requests

url = 'http://example.com'  # Replace with your target URL
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}  # Mimics a browser
response = requests.get(url, headers=headers)

if response.status_code == 200:
    page_content = response.text
else:
    print(f'Request failed: {response.status_code}')

2.2 Menghuraikan HTML

Gunakan BeautifulSoup untuk menghuraikan HTML dan mengekstrak data:

from bs4 import BeautifulSoup

soup = BeautifulSoup(page_content, 'html.parser')

# Example: Extract text from all <h1> tags.
titles = soup.find_all('h1')
for title in titles:
    print(title.get_text())

2.3 Melangkau Langkah Anti-Perangka

Tapak web menggunakan teknik anti perangkak seperti penyekatan IP dan CAPTCHA. Untuk memintas perkara ini:

• Tetapkan Pengepala Permintaan: Tiru gelagat penyemak imbas dengan menetapkan pengepala seperti User-Agent dan Accept, seperti yang ditunjukkan di atas.
• Gunakan IP Proksi: Topeng alamat IP anda menggunakan pelayan proksi. Perkhidmatan seperti 98IP Proxy menawarkan banyak IP proksi untuk membantu mengelakkan larangan IP.

Menggunakan Proksi 98IP (Contoh):

Dapatkan IP proksi dan port daripada Proksi 98IP. Kemudian, masukkan maklumat ini ke dalam panggilan requests anda:

proxies = {
    'http': f'http://{proxy_ip}:{proxy_port}',  # Replace with your 98IP proxy details
    'https': f'https://{proxy_ip}:{proxy_port}',  # If HTTPS is supported
}

response = requests.get(url, headers=headers, proxies=proxies)

Nota: Untuk rangkak yang mantap, dapatkan berbilang IP proksi daripada 98IP dan putarkannya untuk menghalang sekatan IP tunggal. Laksanakan pengendalian ralat untuk mengurus kegagalan proksi.

• Perkenalkan Kelewatan: Tambahkan kelewatan rawak antara permintaan untuk mensimulasikan penyemakan imbas manusia.
• Pengendalian CAPTCHA: Untuk CAPTCHA, terokai OCR (Pengecaman Aksara Optik) atau perkhidmatan penyelesaian CAPTCHA pihak ketiga. Berhati-hati dengan syarat perkhidmatan tapak web.

III. Penyimpanan dan Pemprosesan Data

3.1 Kegigihan Data

Simpan data yang diekstrak dalam fail, pangkalan data atau storan awan. Begini caranya untuk menyimpan ke CSV:

pip install requests beautifulsoup4 pandas

Atas ialah kandungan terperinci Membina Web Crawler dengan Python: Mengekstrak Data daripada Halaman Web. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!