pembangunan bahagian belakang
Tutorial Python
Penjelasan terperinci tentang teknologi perangkak web berasaskan Python
Penjelasan terperinci tentang teknologi perangkak web berasaskan Python
Dengan kemunculan Internet dan era data besar, semakin banyak data dijana dan dibentangkan secara dinamik pada halaman web, yang membawa cabaran baharu kepada pengumpulan dan pemprosesan data. Pada masa ini, teknologi perangkak web wujud. Teknologi perangkak web merujuk kepada teknologi yang secara automatik mendapatkan maklumat di Internet dengan menulis program. Sebagai bahasa pengaturcaraan yang berkuasa, Python mempunyai kelebihan kerana mudah dipelajari, cekap dan mudah digunakan, dan merentas platform Ia telah menjadi pilihan penting dalam pembangunan perangkak web.
Artikel ini akan memperkenalkan secara sistematik teknologi perangkak web yang biasa digunakan dalam Python, termasuk modul permintaan, modul penghuraian, modul storan, dsb.
1. Modul permintaan
Modul permintaan ialah teras perangkak web. Ia boleh mensimulasikan pelayar untuk menghantar permintaan dan mendapatkan kandungan halaman yang diperlukan. Modul permintaan yang biasa digunakan termasuk urllib, Permintaan dan Selenium.
- urllib
urllib ialah modul permintaan HTTP yang disertakan dengan Python Ia boleh mendapatkan data halaman web daripada rangkaian berdasarkan URL Ia menyokong pengekodan URL pengepala permintaan, siaran, Kuki dan fungsi lain. Fungsi yang biasa digunakan termasuk urllib.request.urlopen(), urllib.request.urlretrieve(), urllib.request.build_opener(), dsb.
Kod sumber tapak web boleh diperolehi melalui fungsi urllib.request.urlopen() :
import urllib.request
response = urllib.request.urlopen('http://www.example.com/')
source_code = response.read().decode('utf-8')
print(source_code)- Permintaan
Permintaan ialah Python pustaka pihak ketiga Ia lebih ringkas dan mudah digunakan daripada urllib, dan menyokong kuki, POST, proksi dan fungsi lain. Fungsi yang biasa digunakan termasuk requests.get(), requests.post(), requests.request(), dsb.
Kandungan tindak balas boleh diperolehi melalui fungsi requests.get():
import requests
response = requests.get('http://www.example.com/')
source_code = response.text
print(source_code)- Selenium
Selenium ialah alat ujian automatik dalam perangkak web , ia boleh mensimulasikan operasi manusia dengan memulakan pelayar, dan boleh mencapai fungsi seperti mendapatkan data halaman yang dijana secara dinamik oleh JS. Fungsi yang biasa digunakan termasuk selenium.webdriver.Chrome(), selenium.webdriver.Firefox(), selenium.webdriver.PhantomJS(), dsb.
Dapatkan kod sumber halaman web melalui Selenium:
from selenium import webdriver
browser = webdriver.Chrome() # 打开Chrome浏览器
browser.get('http://www.example.com/')
source_code = browser.page_source # 获取网页源代码
print(source_code)2. Modul penghuraian
Selepas mendapat kod sumber halaman web, langkah seterusnya ialah menghuraikan fail. Modul penghuraian yang biasa digunakan dalam Python termasuk ungkapan biasa, BeautifulSoup dan PyQuery.
- Ekspresi biasa
Ekspresi biasa ialah alat ajaib dan berkuasa yang boleh memadankan rentetan mengikut corak dan mengekstrak data yang diperlukan dengan cepat. Anda boleh menggunakan modul semula dalam Python untuk memanggil ungkapan biasa.
Sebagai contoh, ekstrak semua pautan dalam halaman web:
import re
source_code = """
<!DOCTYPE html>
<html>
<head>
<title>Example</title>
</head>
<body>
<a href="http://www.example.com/">example</a>
<a href="http://www.google.com/">google</a>
</body>
</html>
"""
pattern = re.compile('<a href="(.*?)">(.*?)</a>') # 匹配所有链接
results = re.findall(pattern, source_code)
for result in results:
print(result[0], result[1])- BeautifulSoup
Beautiful Soup ialah perpustakaan dalam Python yang boleh menukar fail HTML atau Fail XML dihuraikan ke dalam struktur pokok untuk mendapatkan data dalam fail HTML/XML dengan mudah. Ia menyokong pelbagai parser, yang biasa digunakan ialah html.parser, lxml dan html5lib terbina dalam Python.
Sebagai contoh, untuk menghuraikan semua pautan dalam halaman web:
from bs4 import BeautifulSoup
source_code = """
<!DOCTYPE html>
<html>
<head>
<title>Example</title>
</head>
<body>
<a href="http://www.example.com/">example</a>
<a href="http://www.google.com/">google</a>
</body>
</html>
"""
soup = BeautifulSoup(source_code, 'html.parser')
links = soup.find_all('a')
for link in links:
print(link.get('href'), link.string)- PyQuery
PyQuery ialah perpustakaan Python seperti jQuery yang menukar HTML dokumen Ke dalam struktur yang serupa dengan jQuery, elemen dalam halaman web boleh diperolehi terus melalui pemilih CSS. Ia bergantung pada perpustakaan lxml.
Sebagai contoh, huraikan semua pautan dalam halaman web:
from pyquery import PyQuery as pq
source_code = """
<!DOCTYPE html>
<html>
<head>
<title>Example</title>
</head>
<body>
<a href="http://www.example.com/">example</a>
<a href="http://www.google.com/">google</a>
</body>
</html>
"""
doc = pq(source_code)
links = doc('a')
for link in links:
print(link.attrib['href'], link.text_content())3 Modul storan
Selepas mendapat data yang diperlukan, langkah seterusnya ialah menyimpan data. tempatan atau di tengah pangkalan data. Modul storan yang biasa digunakan dalam Python termasuk modul fail, MySQLdb, pymongo, dll.
- Modul fail
Modul fail boleh menyimpan data secara setempat Modul fail yang biasa digunakan termasuk CSV, JSON, Excel, dsb. Antaranya, modul CSV ialah salah satu modul fail yang paling biasa digunakan, yang boleh menulis data ke dalam fail CSV.
Sebagai contoh, tulis data ke fail CSV:
import csv
filename = 'example.csv'
data = [['name', 'age', 'gender'],
['bob', 25, 'male'],
['alice', 22, 'female']]
with open(filename, 'w', encoding='utf-8', newline='') as f:
writer = csv.writer(f)
for row in data:
writer.writerow(row)- MySQLdb
MySQLdb ialah perpustakaan untuk Python untuk menyambung ke pangkalan data MySQL, yang menyokong transaksi, kursor dan fungsi lain.
Contohnya, simpan data ke dalam pangkalan data MySQL:
import MySQLdb
conn = MySQLdb.connect(host='localhost', port=3306, user='root',
passwd='password', db='example', charset='utf8')
cursor = conn.cursor()
data = [('bob', 25, 'male'), ('alice', 22, 'female')]
sql = "INSERT INTO users (name, age, gender) VALUES (%s, %s, %s)"
try:
cursor.executemany(sql, data)
conn.commit()
except:
conn.rollback()
cursor.close()
conn.close()- pymongo
pymongo ialah perpustakaan untuk Python untuk dipautkan ke pangkalan data MongoDB menyokong pelbagai Operasi, seperti menambah, memadam, mengubah suai, menyemak, dll.
Sebagai contoh, simpan data dalam pangkalan data MongoDB:
import pymongo
client = pymongo.MongoClient('mongodb://localhost:27017/')
db = client['example']
collection = db['users']
data = [{'name': 'bob', 'age': 25, 'gender': 'male'},
{'name': 'alice', 'age': 22, 'gender': 'female'}]
collection.insert_many(data)4. Ringkasan
Teknologi perangkak web dalam Python termasuk modul permintaan, modul penghuraian dan modul storan, dsb. Antara mereka, modul permintaan adalah teras perangkak web, modul penghuraian ialah saluran penting untuk mendapatkan data, dan modul storan adalah satu-satunya cara untuk mengekalkan data. Python mempunyai kelebihan kerana mudah dipelajari, cekap dan mudah digunakan, dan merentas platform dalam pembangunan perangkak web, dan telah menjadi pilihan penting dalam pembangunan perangkak web.
Atas ialah kandungan terperinci Penjelasan terperinci tentang teknologi perangkak web berasaskan Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
1392
52
36
110
Memilih antara php dan python: panduan
Apr 18, 2025 am 12:24 AM
PHP sesuai untuk pembangunan web dan prototaip pesat, dan Python sesuai untuk sains data dan pembelajaran mesin. 1.Php digunakan untuk pembangunan web dinamik, dengan sintaks mudah dan sesuai untuk pembangunan pesat. 2. Python mempunyai sintaks ringkas, sesuai untuk pelbagai bidang, dan mempunyai ekosistem perpustakaan yang kuat.
PHP dan Python: Paradigma yang berbeza dijelaskan
Apr 18, 2025 am 12:26 AM
PHP terutamanya pengaturcaraan prosedur, tetapi juga menyokong pengaturcaraan berorientasikan objek (OOP); Python menyokong pelbagai paradigma, termasuk pengaturcaraan OOP, fungsional dan prosedur. PHP sesuai untuk pembangunan web, dan Python sesuai untuk pelbagai aplikasi seperti analisis data dan pembelajaran mesin.
Bolehkah kod studio visual digunakan dalam python
Apr 15, 2025 pm 08:18 PM
Kod VS boleh digunakan untuk menulis Python dan menyediakan banyak ciri yang menjadikannya alat yang ideal untuk membangunkan aplikasi python. Ia membolehkan pengguna untuk: memasang sambungan python untuk mendapatkan fungsi seperti penyempurnaan kod, penonjolan sintaks, dan debugging. Gunakan debugger untuk mengesan kod langkah demi langkah, cari dan selesaikan kesilapan. Mengintegrasikan Git untuk Kawalan Versi. Gunakan alat pemformatan kod untuk mengekalkan konsistensi kod. Gunakan alat linting untuk melihat masalah yang berpotensi lebih awal.
Boleh kod vs dijalankan di Windows 8
Apr 15, 2025 pm 07:24 PM
Kod VS boleh dijalankan pada Windows 8, tetapi pengalaman mungkin tidak hebat. Mula -mula pastikan sistem telah dikemas kini ke patch terkini, kemudian muat turun pakej pemasangan kod VS yang sepadan dengan seni bina sistem dan pasangnya seperti yang diminta. Selepas pemasangan, sedar bahawa beberapa sambungan mungkin tidak sesuai dengan Windows 8 dan perlu mencari sambungan alternatif atau menggunakan sistem Windows yang lebih baru dalam mesin maya. Pasang sambungan yang diperlukan untuk memeriksa sama ada ia berfungsi dengan betul. Walaupun kod VS boleh dilaksanakan pada Windows 8, disyorkan untuk menaik taraf ke sistem Windows yang lebih baru untuk pengalaman dan keselamatan pembangunan yang lebih baik.
Adakah sambungan vscode berniat jahat?
Apr 15, 2025 pm 07:57 PM
Sambungan kod VS menimbulkan risiko yang berniat jahat, seperti menyembunyikan kod jahat, mengeksploitasi kelemahan, dan melancap sebagai sambungan yang sah. Kaedah untuk mengenal pasti sambungan yang berniat jahat termasuk: memeriksa penerbit, membaca komen, memeriksa kod, dan memasang dengan berhati -hati. Langkah -langkah keselamatan juga termasuk: kesedaran keselamatan, tabiat yang baik, kemas kini tetap dan perisian antivirus.
PHP dan Python: menyelam mendalam ke dalam sejarah mereka
Apr 18, 2025 am 12:25 AM
PHP berasal pada tahun 1994 dan dibangunkan oleh Rasmuslerdorf. Ia pada asalnya digunakan untuk mengesan pelawat laman web dan secara beransur-ansur berkembang menjadi bahasa skrip sisi pelayan dan digunakan secara meluas dalam pembangunan web. Python telah dibangunkan oleh Guidovan Rossum pada akhir 1980 -an dan pertama kali dikeluarkan pada tahun 1991. Ia menekankan kebolehbacaan dan kesederhanaan kod, dan sesuai untuk pengkomputeran saintifik, analisis data dan bidang lain.
Cara menjalankan program di terminal vscode
Apr 15, 2025 pm 06:42 PM
Dalam kod VS, anda boleh menjalankan program di terminal melalui langkah -langkah berikut: Sediakan kod dan buka terminal bersepadu untuk memastikan bahawa direktori kod selaras dengan direktori kerja terminal. Pilih arahan Run mengikut bahasa pengaturcaraan (seperti python python your_file_name.py) untuk memeriksa sama ada ia berjalan dengan jayanya dan menyelesaikan kesilapan. Gunakan debugger untuk meningkatkan kecekapan debug.
Python vs JavaScript: Keluk Pembelajaran dan Kemudahan Penggunaan
Apr 16, 2025 am 12:12 AM
Python lebih sesuai untuk pemula, dengan lengkung pembelajaran yang lancar dan sintaks ringkas; JavaScript sesuai untuk pembangunan front-end, dengan lengkung pembelajaran yang curam dan sintaks yang fleksibel. 1. Sintaks Python adalah intuitif dan sesuai untuk sains data dan pembangunan back-end. 2. JavaScript adalah fleksibel dan digunakan secara meluas dalam pengaturcaraan depan dan pelayan.
