此程式碼可用於匯入必備庫來刮取和解析 Web 數據,並將其匯入資料庫:使用 Python 請求庫取得 Web 頁面。使用 BeautifulSoup 庫解析頁面並提取所需資料。使用 SQLite3 庫建立資料庫連線並建立表格。將擷取的資料寫入資料庫表中。提交更改並關閉資料庫連線。
使用Python 和SQL 刮取和解析Web 資料
import requests from bs4 import BeautifulSoup import sqlite3
url = 'https://example.com/page/' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser')
使用find_all()
和get_text()
方法從頁面中提取所需資料。
titles = soup.find_all('h1') titles = [title.get_text() for title in titles]
conn = sqlite3.connect('database.db') c = conn.cursor()
for title in titles: c.execute('INSERT INTO titles (title) VALUES (?)', (title,))
conn.commit() conn.close()
#使用此程式碼刮取了Amazon 首頁的頂級產品標題數據,並將其儲存在SQLite 資料庫中。以下是演示程式碼:
import requests from bs4 import BeautifulSoup import sqlite3 url = 'https://amazon.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') titles = soup.find_all('h2', {'class': 'a-size-medium s-inline s-access-title'}) titles = [title.get_text().strip() for title in titles] conn = sqlite3.connect('amazon_titles.db') c = conn.cursor() for title in titles: c.execute('INSERT INTO titles (title) VALUES (?)', (title,)) conn.commit() conn.close()
以上是HTML 段落間距加兩格的詳細內容。更多資訊請關注PHP中文網其他相關文章!