Ce code peut être utilisé pour importer les bibliothèques nécessaires pour extraire et analyser des données Web et les importer dans une base de données : obtenez des pages Web à l'aide de la bibliothèque de requêtes Python. Utilisez la bibliothèque BeautifulSoup pour analyser la page et extraire les données requises. Connexion à la base de données établie et création de tables à l'aide de la bibliothèque SQLite3. Écrivez les données extraites dans une table de base de données. Validez les modifications et fermez la connexion à la base de données.
Utilisez Python et SQL pour gratter et analyser des données Web
import requests from bs4 import BeautifulSoup import sqlite3
url = 'https://example.com/page/' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser')
Utilisez la méthode find_all()
和 get_text()
pour extraire les données requises du page .
titles = soup.find_all('h1') titles = [title.get_text() for title in titles]
conn = sqlite3.connect('database.db') c = conn.cursor()
for title in titles: c.execute('INSERT INTO titles (title) VALUES (?)', (title,))
conn.commit() conn.close()
Utilisez ce code pour récupérer les principales données de titre de produit de la page d'accueil d'Amazon et les stocker dans un SQLite milieu de base de données. Voici le code démo :
import requests from bs4 import BeautifulSoup import sqlite3 url = 'https://amazon.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') titles = soup.find_all('h2', {'class': 'a-size-medium s-inline s-access-title'}) titles = [title.get_text().strip() for title in titles] conn = sqlite3.connect('amazon_titles.db') c = conn.cursor() for title in titles: c.execute('INSERT INTO titles (title) VALUES (?)', (title,)) conn.commit() conn.close()
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!