python中BeautifulSoup的詳細介紹（附程式碼）-Python教學-PHP中文網

這篇文章帶給大家的內容是關於python中BeautifulSoup的詳細介紹（附程式碼），有一定的參考價值，有需要的朋友可以參考一下，希望對你有幫助。

Beautiful Soup提供一些簡單的、python式的函數用來處理導航、搜尋、修改分析樹等功能。它是一個工具箱，透過解析文件為使用者提供需要抓取的數據，因為簡單，所以不需要多少程式碼就可以寫出一個完整的應用程式。 Beautiful Soup會自動將輸入文件轉換為Unicode編碼，輸出文件轉換為utf-8編碼。你不需要考慮編碼方式，除非文件沒有指定一個編碼方式，這時，Beautiful Soup就不能自動辨識編碼方式了。然後，你只需要說明一下原始編碼方式就可以了。 Beautiful Soup已成為和lxml、html6lib一樣出色的python解釋器，為使用者靈活地提供不同的解析策略或強勁的速度。

安裝

pip install BeautifulSoup4
easy_install BeautifulSoup4

登入後複製

建立BeautifulSoup物件

首先應該要匯入BeautifulSoup類別函式庫from bs4 import BeautifulSoup

#下面開始建立物件，在開始之前為了方便演示，先創建一個html文本，如下：

html = """
<html><head><title>The Dormouse&#39;s story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse&#39;s story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

登入後複製

創建對象：soup=BeautifulSoup(html,'lxml'),這裡的lxml是解析的類庫，目前來說個人覺得最好的解析器了，一直在用這個，安裝方法：pip install lxml

#Tag

Tag就是html中的標籤，用BeautifulSoup就能解析出來Tag的具體內容，具體的格式為soup.name,其中name是html下的標籤，具體實例如下：

print soup.title輸出title標籤下的內容，包括此標籤，這個將會輸出The Dormouse's story

print soup.head

##注意：

#這裡的格式只能取得這些標籤的第一個，後面會講到取得多個標籤的方法。其中對於Tag有兩個重要的屬性name和attrs,分別表示名字和屬性,介紹如下：

name:對於Tag，它的name就是其本身，如soup.p.name就是p

attrs是一個字典類型的，對應的是屬性-值，如print soup.p.attrs,輸出的就是{'class': ['title'], 'name': 'dromouse'},當然你也可以得到具體的值，如print soup.p.attrs['class'],輸出的就是[title]是一個列表的類型，因為一個屬性可能對應多個值,當然你也可以透過get方法得到屬性的，如：print soup.p.get('class')。也可以直接使用print soup.p['class']

get

#get方法來得到標籤下的屬性值，注意這是一個重要的方法，在許多場合都能用到，例如你要得到

標籤下的圖像url,那麼就可以用soup.img.get('src'),具體解析如下：

print soup.p.get("class")   #得到第一个p标签下的src属性

登入後複製

string

得到標籤下的文字內容，只有在此標籤下沒有子標籤，或只有一個子標籤的情況下才能傳回其中的內容，否則傳回的是None具體實例如下：

print soup.p.string #在上面的一段文本中p标签没有子标签，因此能够正确返回文本的内容
print soup.html.string  #这里得到的就是None,因为这里的html中有很多的子标签

登入後複製

get_text()

可以取得一個標籤中的所有文字內容，包括子孫節點的內容，這是最常用的方法

搜尋文件樹

find_all( name , attrs , recursive , text , **kwargs )

find_all是用來搜尋節點中所有符合篩選條件的節點

1.name參數：是Tag的名字，如p,p,title …..

soup.find_all("p") 找出所有的p標籤，返回的是[

The Dormouse's story]，可以透過遍歷取得每一個節點，如下：

ps=soup.find_all("p")
for p in ps:
print p.get(&#39;class&#39;)   #得到p标签下的class属性

登入後複製

傳入正規表示式：soup.find_all(re.compile(r'^b')找出以b開頭的所有標籤，這裡的body和b標籤都會被查到

傳入類別清單：如果傳入清單參數,BeautifulSoup會將與清單中任一元素相符的內容傳回.下面程式碼找到文件中所有

標籤和標籤

soup.find_all(["a", "b"])

登入後複製