Avec l'avènement d'Internet et de l'ère du Big Data, de plus en plus de données sont générées et présentées dynamiquement sur des pages Web, ce qui pose de nouveaux défis en matière de collecte et de traitement des données. C’est à cette époque que la technologie des robots d’exploration Web a vu le jour. La technologie des robots d'exploration Web fait référence à une technologie qui obtient automatiquement des informations sur Internet en écrivant des programmes. En tant que langage de programmation puissant, Python présente les avantages d’être facile à apprendre, efficace et facile à utiliser, et multiplateforme. Il est devenu un choix important dans le développement de robots d’exploration Web.
Cet article présentera systématiquement la technologie de robot d'exploration Web couramment utilisée en Python, y compris le module de requête, le module d'analyse, le module de stockage, etc.
1. Module de requête
Le module de requête est le cœur du robot d'exploration Web. Il peut simuler le navigateur pour envoyer des requêtes et obtenir le contenu de la page requis. Les modules de requête couramment utilisés incluent urllib, Requests et Selenium.
urllib est un module de requête HTTP fourni avec Python Il peut obtenir des données de page Web du réseau en fonction de l'URL et. prend en charge le codage d'URL. Modifier les en-têtes de requête, les publications, les cookies et d'autres fonctions. Les fonctions couramment utilisées incluent urllib.request.urlopen(), urllib.request.urlretrieve(), urllib.request.build_opener(), etc.
Vous pouvez récupérer le code source du site via la fonction urllib.request.urlopen() :
import urllib.request
response = urllib.request.urlopen('http://www.example.com/')
source_code = response.read().decode('utf-8')
print(source_code)Requests est une bibliothèque tierce Python qui est plus simple et plus facile à utiliser que urllib et prend en charge les cookies, POST, proxy et d'autres fonctions. Les fonctions couramment utilisées incluent requêtes.get(), requêtes.post(), requêtes.request(), etc.
Vous pouvez obtenir le contenu de la réponse via la fonction request.get() :
import requests
response = requests.get('http://www.example.com/')
source_code = response.text
print(source_code)Selenium est un outil de test automatisé, dans un robot d'exploration Web, il peut simuler des opérations humaines en démarrant un navigateur et peut réaliser des fonctions telles que l'obtention de données de page générées dynamiquement par JS. Les fonctions couramment utilisées incluent selenium.webdriver.Chrome(), selenium.webdriver.Firefox(), selenium.webdriver.PhantomJS(), etc.
Obtenez le code source de la page Web via Selenium :
from selenium import webdriver
browser = webdriver.Chrome() # 打开Chrome浏览器
browser.get('http://www.example.com/')
source_code = browser.page_source # 获取网页源代码
print(source_code)2. Module d'analyse
Après avoir obtenu le code source de la page Web, l'étape suivante est pour analyser le fichier. Les modules d'analyse couramment utilisés en Python incluent les expressions régulières, BeautifulSoup et PyQuery.
L'expression régulière est un outil magique et puissant qui peut faire correspondre les chaînes selon des modèles et extraire rapidement les résultats requis. Vous pouvez utiliser le module re en Python pour appeler des expressions régulières.
Par exemple, extrayez tous les liens de la page web :
import re
source_code = """
<!DOCTYPE html>
<html>
<head>
<title>Example</title>
</head>
<body>
<a href="http://www.example.com/">example</a>
<a href="http://www.google.com/">google</a>
</body>
</html>
"""
pattern = re.compile('<a href="(.*?)">(.*?)</a>') # 匹配所有链接
results = re.findall(pattern, source_code)
for result in results:
print(result[0], result[1])Beautiful Soup est un Python Bibliothèque, qui peut analyser des fichiers HTML ou XML dans une structure arborescente pour obtenir facilement des données dans des fichiers HTML/XML. Il prend en charge une variété d'analyseurs, les plus couramment utilisés sont html.parser, lxml et html5lib intégrés à Python.
Par exemple, analysez tous les liens de la page Web :
from bs4 import BeautifulSoup
source_code = """
<!DOCTYPE html>
<html>
<head>
<title>Example</title>
</head>
<body>
<a href="http://www.example.com/">example</a>
<a href="http://www.google.com/">google</a>
</body>
</html>
"""
soup = BeautifulSoup(source_code, 'html.parser')
links = soup.find_all('a')
for link in links:
print(link.get('href'), link.string)PyQuery est un jQuery -like Une bibliothèque Python qui convertit les documents HTML en structures de type jQuery pouvant obtenir directement des éléments dans des pages Web via des sélecteurs CSS. Cela dépend de la bibliothèque lxml.
Par exemple, analysez tous les liens de la page Web :
from pyquery import PyQuery as pq
source_code = """
<!DOCTYPE html>
<html>
<head>
<title>Example</title>
</head>
<body>
<a href="http://www.example.com/">example</a>
<a href="http://www.google.com/">google</a>
</body>
</html>
"""
doc = pq(source_code)
links = doc('a')
for link in links:
print(link.attrib['href'], link.text_content())3. Module de stockage
Après avoir obtenu les données requises, le prochain L'étape consiste à stocker les données localement ou dans une base de données. Les modules de stockage couramment utilisés en Python incluent les modules de fichiers, MySQLdb, pymongo, etc.
Le module de fichiers peut stocker des données localement. Les modules de fichiers couramment utilisés incluent CSV, JSON, Excel, etc. Parmi eux, le module CSV est l'un des modules de fichiers les plus couramment utilisés, capable d'écrire des données dans des fichiers CSV.
Par exemple, écrivez des données dans un fichier CSV :
import csv
filename = 'example.csv'
data = [['name', 'age', 'gender'],
['bob', 25, 'male'],
['alice', 22, 'female']]
with open(filename, 'w', encoding='utf-8', newline='') as f:
writer = csv.writer(f)
for row in data:
writer.writerow(row)MySQLdb est un lien Python vers MySQL Une bibliothèque pour bases de données qui prend en charge plusieurs fonctions telles que les transactions et les curseurs.
Par exemple, stockez des données dans une base de données MySQL :
import MySQLdb
conn = MySQLdb.connect(host='localhost', port=3306, user='root',
passwd='password', db='example', charset='utf8')
cursor = conn.cursor()
data = [('bob', 25, 'male'), ('alice', 22, 'female')]
sql = "INSERT INTO users (name, age, gender) VALUES (%s, %s, %s)"
try:
cursor.executemany(sql, data)
conn.commit()
except:
conn.rollback()
cursor.close()
conn.close()pymongo est un lien Python vers une base de données MongoDB Une bibliothèque qui prend en charge diverses opérations, telles que l'ajout, la suppression, la modification et l'interrogation.
Par exemple, stockez des données dans une base de données MongoDB :
import pymongo
client = pymongo.MongoClient('mongodb://localhost:27017/')
db = client['example']
collection = db['users']
data = [{'name': 'bob', 'age': 25, 'gender': 'male'},
{'name': 'alice', 'age': 22, 'gender': 'female'}]
collection.insert_many(data)4. Résumé
La technologie de robot d'exploration Web en Python comprend un module de requête et un module d'analyse et module de stockage, etc. Parmi eux, le module de requête est le cœur du robot d'exploration Web, le module d'analyse est un canal important pour obtenir des données et le module de stockage est le seul moyen de conserver les données. Python présente les avantages d'être facile à apprendre, efficace et facile à utiliser, et multiplateforme dans le développement de robots d'exploration Web, et est devenu un choix important dans le développement de robots d'exploration Web.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
