(.*?)
.*?(.*?)
.*?
Rumah
pembangunan bahagian belakang
Tutorial Python
Cara menghuraikan halaman HTML dengan perangkak Python
pembangunan bahagian belakang
Tutorial Python
Cara menghuraikan halaman HTML dengan perangkak Python
Cara menghuraikan halaman HTML dengan perangkak Python
python
html
Menghuraikan halaman HTML dengan Python
Kami biasanya perlu menghuraikan halaman yang dirangkak web untuk mendapatkan data yang kami perlukan. Dengan menganalisis struktur gabungan teg HTML, kami boleh mengekstrak maklumat berguna yang terkandung dalam halaman web. Dalam Python, terdapat tiga cara biasa untuk menghuraikan HTML: penghuraian ungkapan biasa, penghuraian XPath dan penghuraian pemilih CSS.
Struktur halaman HTML
Memahami struktur asas halaman HTML adalah prasyarat sebelum menerangkan kaedah penghuraian HTML. Apabila kami membuka tapak web dalam penyemak imbas dan memilih item menu "Tunjukkan kod sumber halaman web" melalui menu klik kanan tetikus, kami dapat melihat kod HTML yang sepadan dengan halaman web. Kod HTML biasanya terdiri daripada tag, atribut dan teks. Label membawa kandungan yang dipaparkan pada halaman, atribut menambah maklumat label, dan teks ialah kandungan yang dipaparkan oleh label. Berikut ialah contoh struktur kod halaman HTML yang mudah:
<!DOCTYPE html>
<html>
<head>
<!-- head 标签中的内容不会在浏览器窗口中显示 -->
<title>这是页面标题</title>
</head>
<body>
<!-- body 标签中的内容会在浏览器窗口中显示 -->
<h2>这是一级标题</h2>
<p>这是一段文本</p>
</body>
</html>Salin selepas log masuk
Dalam contoh kod halaman HTML ini, <!DOCTYPE html> ialah pengisytiharan jenis dokumen, teg <html> ialah teg akar bagi keseluruhan halaman, <head> dan <body> ialah sub-tag teg <html> Kandungan yang diletakkan di bawah teg <body> akan dipaparkan dalam tetingkap penyemak imbas Kandungan ini adalah kandungan utama halaman web Teg <head> tidak akan dipaparkan dalam penyemak imbas Ia dipaparkan dalam tetingkap, tetapi ia mengandungi maklumat meta penting halaman, biasanya dipanggil pengepala halaman web. Struktur kod umum halaman HTML adalah seperti berikut:
<!DOCTYPE html>
<html>
<head>
<!-- 页面的元信息，如字符编码、标题、关键字、媒体查询等 -->
</head>
<body>
<!-- 页面的主体，显示在浏览器窗口中的内容 -->
</body>
</html>Salin selepas log masuk
tag, Cascading Style Sheets (CSS) dan JavaScript ialah tiga komponen asas yang membentuk halaman HTML. Teg digunakan untuk membawa kandungan yang akan dipaparkan pada halaman, CSS bertanggungjawab untuk memaparkan halaman, dan JavaScript digunakan untuk mengawal tingkah laku interaktif halaman. Untuk menghuraikan halaman HTML, anda boleh menggunakan sintaks XPath, yang pada asalnya merupakan sintaks pertanyaan untuk XML Ia boleh mengekstrak kandungan atau atribut tag dalam teg berdasarkan struktur hierarki tag HTML Selain itu, anda juga boleh menggunakan pemilih CSS untuk mencari halaman . Elemen adalah sama seperti memaparkan elemen halaman menggunakan CSS.
Penghuraian XPath
XPath ialah sintaks untuk mencari maklumat dalam dokumen XML (Bahasa Penanda eXtensible) serupa dengan HTML dan merupakan bahasa teg yang menggunakan teg untuk membawa data sebabnya ialah teg XML boleh dikembangkan dan disesuaikan, dan XML mempunyai keperluan sintaks yang lebih ketat. XPath menggunakan ungkapan laluan untuk memilih set nod atau nod dalam dokumen XML Nod yang dinyatakan di sini termasuk elemen, atribut, teks, ruang nama, arahan pemprosesan, ulasan, nod akar, dsb.
Ungkapan laluan XPath adalah serupa dengan sintaks laluan fail, anda boleh menggunakan "/" dan "//" untuk memilih nod. Apabila memilih nod akar, anda boleh menggunakan garis miring tunggal "/" apabila memilih nod di mana-mana kedudukan, anda boleh menggunakan garis miring berganda "//". Contohnya, "/kedai buku/buku" bermaksud memilih semua subnod buku di bawah kedai buku nod akar, dan "//tajuk" bermaksud memilih nod tajuk di mana-mana kedudukan.
XPath juga boleh menggunakan predikat untuk menapis nod. Ungkapan bersarang dalam kurungan segi empat sama boleh berupa nombor, operator perbandingan atau panggilan fungsi yang berfungsi sebagai predikat. Contohnya, "/kedai buku/buku[1]" bermaksud memilih buku nod anak pertama kedai buku dan "//book[@lang]" bermaksud memilih semua nod buku dengan atribut lang.
Fungsi XPath termasuk rentetan, matematik, logik, nod, jujukan dan fungsi lain. Fungsi ini boleh digunakan untuk memilih nod, mengira nilai, menukar jenis data dan operasi lain. Sebagai contoh, fungsi "panjang rentetan(rentetan)" boleh mengembalikan panjang rentetan, dan fungsi "count(set-nod)" boleh mengembalikan bilangan nod dalam set nod.
Di bawah kami menggunakan contoh untuk menggambarkan cara menggunakan XPath untuk menghuraikan halaman. Katakan kita mempunyai fail XML berikut:
<?xml version="1.0" encoding="UTF-8"?>
<bookstore>
<book>
<title lang="eng">Harry Potter</title>
<price>29.99</price>
</book>
<book>
<title lang="zh">Learning XML</title>
<price>39.95</price>
</book>
</bookstore>Salin selepas log masuk
Untuk fail XML ini, kita boleh mendapatkan nod dalam dokumen menggunakan sintaks XPath seperti yang ditunjukkan di bawah.
| 路径表达式 | 结果 |
|---|---|
| /bookstore | 选取根元素 bookstore。注意：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！ |
| //book | 选取所有 book 子元素，而不管它们在文档中的位置。 |
| //@lang | 选取名为 lang 的所有属性。 |
| /bookstore/book[1] | 选取 bookstore 的第一个子节点 book。 |
CSS 选择器解析
通过HTML标签的属性和关系来定位元素的方式被称为CSS选择器。根据 HTML 标签的层级结构、类名、id 等属性能够确定元素的位置。在 Python 中，我们可以使用 BeautifulSoup 库来进行 CSS 选择器解析。
我们接下来会举一个例子，讲解如何运用 CSS 选择器来分析页面。假设我们有如下的 HTML 代码：
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>这是页面标题</title> </head> <body> <div class="content"> <h2>这是一级标题</h2> <p>这是一段文本</p> </div> <div class="footer"> <p>版权所有 © 2021</p> </div> </body> </html>
Salin selepas log masuk
Salin selepas log masuk
我们可以使用如下所示的 CSS 选择器语法来选取页面元素。
| 选择器 | 结果 |
|---|---|
| div.content | 选取 class 为 content 的 div 元素。 |
| h2 | 选取所有的 h2 元素。 |
| div.footer p | 选取 class 为 footer 的 div 元素下的所有 p 元素。 |
| [href] | 选取所有具有 href 属性的元素。 |
正则表达式解析
用正则表达式可以解析 HTML 页面，从而实现文本的匹配、查找和替换。使用 re 模块可以进行 Python 的正则表达式解析。
下面我们通过一个例子来说明如何使用正则表达式对页面进行解析。假设我们有如下的 HTML 代码：
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>这是页面标题</title> </head> <body> <div class="content"> <h2>这是一级标题</h2> <p>这是一段文本</p> </div> <div class="footer"> <p>版权所有 © 2021</p> </div> </body> </html>
Salin selepas log masuk
Salin selepas log masuk
我们可以使用如下所示的正则表达式来选取页面元素。
import re html = ''' <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>这是页面标题</title> </head> <body> <div class="content"> <h2>这是一级标题</h2> <p>这是一段文本</p> </div> <div class="footer"> <p>版权所有 © 2021</p> </div> </body> </html> ''' pattern = re.compile(r'.*?', re.S) match = re.search(pattern, html) if match: title = match.group(1) text = match.group(2) print(title) print(text)
Salin selepas log masuk
以上代码中，我们使用 re 模块的 compile 方法来编译正则表达式，然后使用 search 方法来匹配 HTML 代码。在正则表达式中，“.*?”表示非贪婪匹配，也就是匹配到第一个符合条件的标签就停止匹配，而“re.S”表示让“.”可以匹配包括换行符在内的任意字符。最后，我们使用 group 方法来获取匹配的结果。
Atas ialah kandungan terperinci Cara menghuraikan halaman HTML dengan perangkak Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!
Artikel Panas
Assassin's Creed Shadows: Penyelesaian Riddle Seashell
4 minggu yang lalu
By DDD
Apa yang Baru di Windows 11 KB5054979 & Cara Memperbaiki Masalah Kemas Kini
3 minggu yang lalu
By DDD
Di mana untuk mencari kad kunci kawalan kren di atomfall
4 minggu yang lalu
By DDD
<🎜>: Rails Dead - Cara Melengkapkan Setiap Cabaran
1 bulan yang lalu
By DDD
Panduan Atomfall: Lokasi Item, Panduan Pencarian, dan Petua
1 bulan yang lalu
By DDD
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
PHP dan Python: Paradigma yang berbeza dijelaskan
Apr 18, 2025 am 12:26 AM
PHP terutamanya pengaturcaraan prosedur, tetapi juga menyokong pengaturcaraan berorientasikan objek (OOP); Python menyokong pelbagai paradigma, termasuk pengaturcaraan OOP, fungsional dan prosedur. PHP sesuai untuk pembangunan web, dan Python sesuai untuk pelbagai aplikasi seperti analisis data dan pembelajaran mesin.
Python vs JavaScript: Keluk Pembelajaran dan Kemudahan Penggunaan
Apr 16, 2025 am 12:12 AM
Python lebih sesuai untuk pemula, dengan lengkung pembelajaran yang lancar dan sintaks ringkas; JavaScript sesuai untuk pembangunan front-end, dengan lengkung pembelajaran yang curam dan sintaks yang fleksibel. 1. Sintaks Python adalah intuitif dan sesuai untuk sains data dan pembangunan back-end. 2. JavaScript adalah fleksibel dan digunakan secara meluas dalam pengaturcaraan depan dan pelayan.
Memilih antara php dan python: panduan
Apr 18, 2025 am 12:24 AM
PHP sesuai untuk pembangunan web dan prototaip pesat, dan Python sesuai untuk sains data dan pembelajaran mesin. 1.Php digunakan untuk pembangunan web dinamik, dengan sintaks mudah dan sesuai untuk pembangunan pesat. 2. Python mempunyai sintaks ringkas, sesuai untuk pelbagai bidang, dan mempunyai ekosistem perpustakaan yang kuat.
HTML: Struktur, CSS: Gaya, JavaScript: Tingkah Laku
Apr 18, 2025 am 12:09 AM
Peranan HTML, CSS dan JavaScript dalam pembangunan web adalah: 1. HTML mentakrifkan struktur laman web, 2. CSS mengawal gaya laman web, dan 3. JavaScript menambah tingkah laku dinamik. Bersama -sama, mereka membina kerangka, estetika dan interaktiviti laman web moden.
Bolehkah kod studio visual digunakan dalam python
Apr 15, 2025 pm 08:18 PM
Kod VS boleh digunakan untuk menulis Python dan menyediakan banyak ciri yang menjadikannya alat yang ideal untuk membangunkan aplikasi python. Ia membolehkan pengguna untuk: memasang sambungan python untuk mendapatkan fungsi seperti penyempurnaan kod, penonjolan sintaks, dan debugging. Gunakan debugger untuk mengesan kod langkah demi langkah, cari dan selesaikan kesilapan. Mengintegrasikan Git untuk Kawalan Versi. Gunakan alat pemformatan kod untuk mengekalkan konsistensi kod. Gunakan alat linting untuk melihat masalah yang berpotensi lebih awal.
Masa Depan HTML: Evolusi dan Trend dalam Reka Bentuk Web
Apr 17, 2025 am 12:12 AM
Masa depan HTML penuh dengan kemungkinan yang tidak terhingga. 1) Ciri -ciri dan piawaian baru akan merangkumi lebih banyak tag semantik dan populariti komponen web. 2) Trend reka bentuk web akan terus berkembang ke arah reka bentuk yang responsif dan boleh diakses. 3) Pengoptimuman prestasi akan meningkatkan pengalaman pengguna melalui pemuatan imej yang responsif dan teknologi pemuatan malas.
PHP dan Python: menyelam mendalam ke dalam sejarah mereka
Apr 18, 2025 am 12:25 AM
PHP berasal pada tahun 1994 dan dibangunkan oleh Rasmuslerdorf. Ia pada asalnya digunakan untuk mengesan pelawat laman web dan secara beransur-ansur berkembang menjadi bahasa skrip sisi pelayan dan digunakan secara meluas dalam pembangunan web. Python telah dibangunkan oleh Guidovan Rossum pada akhir 1980 -an dan pertama kali dikeluarkan pada tahun 1991. Ia menekankan kebolehbacaan dan kesederhanaan kod, dan sesuai untuk pengkomputeran saintifik, analisis data dan bidang lain.
Adakah sambungan vscode berniat jahat?
Apr 15, 2025 pm 07:57 PM
Sambungan kod VS menimbulkan risiko yang berniat jahat, seperti menyembunyikan kod jahat, mengeksploitasi kelemahan, dan melancap sebagai sambungan yang sah. Kaedah untuk mengenal pasti sambungan yang berniat jahat termasuk: memeriksa penerbit, membaca komen, memeriksa kod, dan memasang dengan berhati -hati. Langkah -langkah keselamatan juga termasuk: kesedaran keselamatan, tabiat yang baik, kemas kini tetap dan perisian antivirus.
