網頁抓取是一種用於從網站提取資訊的方法。它可以成為數據分析、研究和自動化的寶貴工具。 Python 擁有豐富的函式庫生態系統，為網頁抓取提供了多種選項。在本文中，我們將探討四個流行的函式庫：Requests、BeautifulSoup、Selenium 和 Scrapy。我們將比較它們的功能，提供詳細的程式碼範例，並討論最佳實踐。
網頁抓取涉及取得網頁並從中提取有用的資料。它可用於多種目的，包括：
在抓取任何網站之前，檢查該網站的 robots.txt 檔案和服務條款以確保遵守其抓取政策至關重要。
Requests 函式庫是一種在 Python 中發送 HTTP 請求的簡單且使用者友善的方法。它抽象化了 HTTP 的許多複雜性，使得取得網頁變得容易。
您可以使用 pip 安裝 Requests：
pip install requests
以下是如何使用請求來取得網頁：
import requests
url = 'https://example.com'
response = requests.get(url)
if response.status_code == 200:
print("Page fetched successfully!")
print(response.text) # Prints the HTML content of the page
else:
print(f"Failed to retrieve the webpage: {response.status_code}")
您可以使用請求輕鬆傳遞參數和標頭：
params = {'q': 'web scraping', 'page': 1}
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, params=params, headers=headers)
print(response.url) # Displays the full URL with parameters
Requests 也支援會話管理，這對於維護 cookie 很有用：
session = requests.Session()
session.get('https://example.com/login', headers=headers)
response = session.get('https://example.com/dashboard')
print(response.text)
BeautifulSoup 是一個用於解析 HTML 和 XML 文件的強大函式庫。它與從網頁中提取資料的請求配合良好。
您可以使用 pip 安裝 BeautifulSoup：
pip install beautifulsoup4
以下是如何使用 BeautifulSoup 解析 HTML：
from bs4 import BeautifulSoup
html_content = response.text
soup = BeautifulSoup(html_content, 'html.parser')
# Extracting the title of the page
title = soup.title.string
print(f"Page Title: {title}")
BeautifulSoup 讓您輕鬆導航解析樹：
# Find all <h1> tags
h1_tags = soup.find_all('h1')
for tag in h1_tags:
print(tag.text)
# Find the first <a> tag
first_link = soup.find('a')
print(first_link['href']) # Prints the URL of the first link
您也可以使用 CSS 選擇器來尋找元素：
# Find elements with a specific class
items = soup.select('.item-class')
for item in items:
print(item.text)
Selenium 主要用於自動化 Web 應用程式以進行測試，但對於抓取由 JavaScript 呈現的動態內容也很有效。
您可以使用 pip 安裝 Selenium：
pip install selenium
Selenium 需要您想要自動化的瀏覽器的 Web 驅動程式（例如，用於 Chrome 的 ChromeDriver）。確保您已安裝驅動程式並在您的 PATH 中可用。
以下是如何使用 Selenium 取得網頁：
from selenium import webdriver
# Set up the Chrome WebDriver
driver = webdriver.Chrome()
# Open a webpage
driver.get('https://example.com')
# Extract the page title
print(driver.title)
# Close the browser
driver.quit()
Selenium 允許您與 Web 元素進行交互，例如填寫表單和點擊按鈕：
# Find an input field and enter text
search_box = driver.find_element_by_name('q')
search_box.send_keys('web scraping')
# Submit the form
search_box.submit()
# Wait for results to load and extract them
results = driver.find_elements_by_css_selector('.result-class')
for result in results:
print(result.text)
Selenium 可以等待元素動態載入：
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# Wait for an element to become visible
try:
element = WebDriverWait(driver, 10).until(
EC.visibility_of_element_located((By.ID, 'dynamic-element-id'))
)
print(element.text)
finally:
driver.quit()
Scrapy 是一個強大且靈活的網頁抓取框架，專為大規模抓取專案而設計。它為處理請求、解析和儲存資料提供內建支援。
您可以使用pip安裝Scrapy：
pip install scrapy
要建立新的 Scrapy 項目，請在終端機中執行以下命令：
scrapy startproject myproject cd myproject scrapy genspider example example.com
這是一個從網站抓取資料的簡單蜘蛛：
# In myproject/spiders/example.py
import scrapy
class ExampleSpider(scrapy.Spider):
name = 'example'
start_urls = ['https://example.com']
def parse(self, response):
# Extract data using CSS selectors
titles = response.css('h1::text').getall()
for title in titles:
yield {'title': title}
# Follow pagination links
next_page = response.css('a.next::attr(href)').get()
if next_page:
yield response.follow(next_page, self.parse)
您可以從命令列運行蜘蛛：
scrapy crawl example -o output.json
此指令會將抓取的資料儲存到output.json。
Scrapy 允許您使用專案管道處理抓取的資料。您可以有效率地清理和儲存資料：
# In myproject/pipelines.py
class MyPipeline:
def process_item(self, item, spider):
item['title'] = item['title'].strip() # Clean the title
return item
您可以在settings.py中配置設定來自訂您的Scrapy專案：
# Enable item pipelines
ITEM_PIPELINES = {
'myproject.pipelines.MyPipeline': 300,
}
| Feature | Requests + BeautifulSoup | Selenium | Scrapy |
|---|---|---|---|
| Ease of Use | High | Moderate | Moderate |
| Dynamic Content | No | Yes | Yes (with middleware) |
| Speed | Fast | Slow | Fast |
| Asynchronous | No | No | Yes |
| Built-in Parsing | No | No | Yes |
| Session Handling | Yes | Yes | Yes |
| Community Support | Strong | Strong | Very Strong |
Respect Robots.txt: Always check the robots.txt file of the website to see what is allowed to be scraped.
Rate Limiting: Implement delays between requests to avoid overwhelming the server. Use time.sleep() or Scrapy's built-in settings.
User-Agent Rotation: Use different User-Agent strings to mimic different browsers and avoid being blocked.
Handle Errors Gracefully: Implement error handling to manage HTTP errors and exceptions during scraping.
Data Cleaning: Clean and validate the scraped data before using it for analysis.
Monitor Your Scrapers: Keep an eye on your scrapers to ensure they are running smoothly and efficiently.
Web scraping is a powerful tool for gathering data from the web. Choosing the right library or framework depends on your specific needs:
By following best practices and understanding the strengths of each tool, you can effectively scrape data while respecting the web ecosystem. Happy scraping!
以上是使用 Python 進行網頁抓取：Requests、BeautifulSoup、Selenium 和 Scrapy 的深入指南的詳細內容。更多資訊請關注PHP中文網其他相關文章！
