Bagaimanakah Saya Boleh Mengikis Kandungan JavaScript Dinamik dalam Python?

Scrape Dynamic Content Dijana oleh JavaScript dalam Python

Web scraping selalunya menemui halaman dengan kandungan dinamik yang dikuasakan oleh JavaScript. Untuk mengikis halaman sedemikian dengan berkesan, melaksanakan kod JavaScript adalah penting.

Menggunakan Selenium dengan PhantomJS

Selenium ialah perpustakaan Python yang popular untuk mengautomasikan penyemak imbas web. Ia boleh digunakan dengan PhantomJS, penyemak imbas tanpa kepala, untuk memaparkan halaman web dan melaksanakan JavaScript.

1. Pastikan PhantomJS dipasang dan tersedia dalam laluan anda.
2. Pasang Selenium menggunakan pip install selenium .
3. Gunakan yang berikut kod:

from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get(my_url)
p_element = driver.find_element_by_id(id_='intro-text')
print(p_element.text)

Menggunakan dryscrape

Dryscrape ialah satu lagi perpustakaan Python yang direka khusus untuk mengikis tapak web dipacu JavaScript.

1. Pasang dryscrape menggunakan pip install dryscrape.
2. Gunakan kod berikut:

import dryscrape
from bs4 import BeautifulSoup

session = dryscrape.Session()
session.visit(my_url)
response = session.body()
soup = BeautifulSoup(response)
soup.find(id="intro-text")

Atas ialah kandungan terperinci Bagaimanakah Saya Boleh Mengikis Kandungan JavaScript Dinamik dalam Python?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!