Dieser Artikel bietet Ihnen eine detaillierte Einführung in BeautifulSoup in Python (mit Code). Freunde in Not können darauf verweisen.
Beautiful Soup bietet einige einfache Funktionen im Python-Stil für die Navigation, Suche, Änderung von Analysebäumen und andere Funktionen. Es handelt sich um eine Toolbox, die Benutzern durch Parsen von Dokumenten die Daten liefert, die sie zum Crawlen benötigen. Da es einfach ist, können Sie eine vollständige Anwendung ohne viel Code schreiben. Beautiful Soup konvertiert Eingabedokumente automatisch in die Unicode-Kodierung und Ausgabedokumente in die UTF-8-Kodierung. Sie müssen die Kodierungsmethode nicht berücksichtigen, es sei denn, das Dokument gibt keine Kodierungsmethode an. In diesem Fall kann Beautiful Soup die Kodierungsmethode nicht automatisch identifizieren. Anschließend müssen Sie nur noch die ursprüngliche Kodierungsmethode angeben. Beautiful Soup hat sich zu einem hervorragenden Python-Interpreter wie lxml und html6lib entwickelt und bietet Benutzern die Flexibilität, verschiedene Parsing-Strategien oder eine hohe Geschwindigkeit bereitzustellen.
Installation
pip install BeautifulSoup4 easy_install BeautifulSoup4
BeautifulSoup-Objekt erstellen
Zuerst sollten Sie die BeautifulSoup-Klassenbibliothek aus bs4 import BeautifulSoup importieren
Beginnen Sie mit der Erstellung des Objekt unten: Bevor Sie beginnen, erstellen Sie zur Vereinfachung der Demonstration zunächst einen HTML-Text wie folgt:
html = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" name="dromouse"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """
Objekt erstellen: supple=BeautifulSoup(html,'lxml'), die lxml hier ist die Parsing-Klassenbibliothek , im Moment denke ich, dass es der beste Parser ist, den ich je verwendet habe: pip install lxml
Tag
Tag ist ein Tag html, Sie können BeautifulSoup verwenden, um den spezifischen Inhalt des Tags zu analysieren. Das spezifische Format ist „soup.name“, wobei „name“ das Tag unter „html“ ist Inhalt unter dem Titel-Tag, einschließlich dieses Tags. Dadurch wird
get
get verwenden, um den Attributwert unter der Bezeichnung abzurufen Methode. kann in vielen Situationen verwendet werden. Wenn Sie beispielsweise die Bild-URL unter dem Tag
print soup.p.get("class") #得到第一个p标签下的src属性print soup.p.string #在上面的一段文本中p标签没有子标签，因此能够正确返回文本的内容 print soup.html.string #这里得到的就是None,因为这里的html中有很多的子标签
Die Geschichte der Siebenschläfer
] zurück, die durchlaufen werden können. Rufen Sie jeden Knoten wie folgt ab:ps=soup.find_all("p")
for p in ps:
print p.get('class') #得到p标签下的class属性-Tags und
-Tags <🎜 im Dokument >soup.find_all(["a", "b"])
2.KeyWords-Parameter dient zur Übergabe von Attributen und entsprechenden Attributwerten oder anderen Ausdrückensoup.find_all(id='link2'), dies sucht und findet alle Tags, deren ID-Attribut link2 ist. Übergeben Sie den regulären Ausdruck supple.find_all(href=re.compile("elsie")). , wodurch alle Tags gefunden werden, deren href-Attribut den regulären Ausdruck
erfüllt: Soup.find_all(id='link2',class_='title'), dadurch werden Tags gefunden, die beide Attribute erfüllen Hier muss class_ übergeben werden, da class ein Schlüsselwort in Python ist. Einige Attribute können nicht direkt mit der oben genannten Methode durchsucht werden, z. B. das data-*-Attribut in HTML5 Parameter über den Parameter attrs, um nach Tags zu suchen, die spezielle Attribute enthalten, wie folgt:# [<p data-foo="value">foo!</p>]
data_soup.find_all(attrs={"data-foo": "value"}) #注意这里的atts不仅能够搜索特殊属性，亦可以搜索普通属性
soup.find_all("p",attrs={'class':'title','id':'value'}) #相当与soup.find_all('p',class_='title',id='value')soup.find_all(text="Elsie")
# [u'Elsie']
soup.find_all(text=["Tillie", "Elsie", "Lacie"])
# [u'Elsie', u'Lacie', u'Tillie']
soup.find_all(text=re.compile("Dormouse"))
[u"The Dormouse's story", u"The Dormouse's story"]4.limit参数：find_all() 方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果.
文档树中有3个tag符合搜索条件,但结果只返回了2个,因为我们限制了返回数量,代码如下：
soup.find_all("a", limit=2)
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]5.recursive 参数:调用tag的 find_all() 方法时,BeautifulSoup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False
find( name , attrs , recursive , text , **kwargs )
它与 find_all() 方法唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果,就是直接返回第一匹配到的元素，不是列表，不用遍历，如soup.find("p").get("class")
css选择器
我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加#，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list
通过标签名查找
print soup.select('title') #[<title>The Dormouse's story</title>] print soup.select('a') #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
通过类名查找
print soup.select('.sister') #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
通过id名查找
print soup.select('#link1') #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
组合查找
学过css的都知道css选择器，如p #link1是查找p标签下的id属性为link1的标签
print soup.select('p #link1') #查找p标签中内容为id属性为link1的标签
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
print soup.select("head > title") #直接查找子标签
#[<title>The Dormouse's story</title>]属性查找
查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。
print soup.select('a[class="sister"]') #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>] print soup.select('a[href="http://example.com/elsie"]') #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格,代码如下：
print soup.select('p a[href="http://example.com/elsie"]') #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
以上的 select 方法返回的结果都是列表形式，可以遍历形式输出，然后用 get_text() 方法来获取它的内容
soup = BeautifulSoup(html, 'lxml')
print type(soup.select('title'))
print soup.select('title')[0].get_text()
for title in soup.select('title'):
print title.get_text()修改文档树
Beautiful
Soup的强项是文档树的搜索,但同时也可以方便的修改文档树,这个虽说对于一些其他的爬虫并不适用，因为他们都是爬文章的内容的，并不需要网页的源码并且修改它们
修改tag的名称和属性
html=""" <p><a href='#'>修改文档树</a></p> """ soup=BeautifulSoup(html,'lxml') tag=soup.a #得到标签a，可以使用print tag.name输出标签 tag['class']='content' #修改标签a的属性class和p tag['p']='nav'
修改.string
注意这里如果标签的中还嵌套了子孙标签，那么如果直接使用string这个属性会将这里的所有的子孙标签都覆盖掉
html=""" <p><a href='#'>修改文档树</a></p> """ soup=BeautifulSoup(html,'lxml') tag=soup.a tag.string='博客' #这里会将修改文档树变成修改的内容 print tag soup.p.string='博客' #这里修改了p标签的内容，那么就会覆盖掉a标签，直接变成的修改后的文本 print soup
append
append的方法的作用是在在原本标签文本后面附加文本，就像python中列表的append方法
html="""
<p><a href='#'>修改文档树</a></p>
"""
soup=BeautifulSoup(html,'lxml')
soup.a.append("博客") #在a标签和面添加文本，这里的文本内容将会变成修改文档树陈加兵的博客
print soup
print soup.a.contents #这里输出a标签的内容，这里的必定是一个带有两个元素的列表注意这里的append方法也可以将一个新的标签插入到文本的后面，下面将会讲到
new_tag
相信学过js的朋友都知道怎样创建一个新的标签，这里的方法和js中的大同小异，使用的new_taghtml=""" <p><p> """ soup=BeautifulSoup(html,'lxml') tag=soup.p new_tag=soup.new_tag('a') #创建一个新的标签a new_tag['href']='#' #添加属性 new_tag.string='博客' #添加文本 print new_tag tag.append(new_tag) #将新添加的标签写入到p标签中 print tag
insert
Tag.insert() 方法与 Tag.append() 方法类似,区别是不会把新元素添加到父节点 .contentshtml="""
<p><p>
"""
soup=BeautifulSoup(html,'lxml')
tag=soup.p
new_tag=soup.new_tag('a')
new_tag['href']='#'
new_tag.string='博客'
tag.append("欢迎来到") #这里向p标签中插入文本，这个文本在contents下的序号为0
tag.insert(1,new_tag) #在contents序号为1的位置插入新的标签，如果这里修改成0，那么将会出现a标签将会出现在欢饮来到的前面
print taginsert_before() 和 insert_after()
insert_before() 方法在当前tag或文本节点前插入内容,insert_after() 方法在当前tag或文本节点后插入内容:
soup = BeautifulSoup("<b>stop</b>")
tag = soup.new_tag("i")
tag.string = "Don't"
soup.b.string.insert_before(tag)
soup.b
# <b><i>Don't</i>stop</b>
soup.b.i.insert_after(soup.new_string(" ever "))
soup.b
# <b><i>Don't</i> ever stop</b>
soup.b.contents
# [<i>Don't</i>, u' ever ', u'stop']clear
clear用来移除当前节点的所有的内容，包括其中的子孙节点和文本内容
html="""
<p><p>
"""
soup=BeautifulSoup(html,'lxml')
tag=soup.p
new_tag=soup.new_tag('a')
new_tag['href']='#'
new_tag.string='博客'
tag.append("欢迎来到")
tag.insert(1,new_tag)
tag.clear() #这里将会移除所有内容
print tagDas obige ist der detaillierte Inhalt vonDetaillierte Einführung in BeautifulSoup in Python (mit Code). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
