Maison développement back-end Tutoriel Python python3 explore le contenu de l'encyclopédie Baidu en fonction de mots-clés

python3 explore le contenu de l'encyclopédie Baidu en fonction de mots-clés

Feb 25, 2017 am 10:52 AM

前言

关于python版本,我一开始看很多资料说python2比较好,因为很多库还不支持3,但是使用到现在为止觉得还是pythin3比较好用,因为编码什么的问题,觉得2还是没有3方便。而且在网上找到的2中的一些资料稍微改一下也还是可以用。

好了,开始说爬百度百科的事。

这里设定的需求是爬取北京地区n个景点的全部信息,n个景点的名称是在文件中给出的。没有用到api,只是单纯的爬网页信息。 

1、根据关键字获取url

由于只需要爬取信息,而且不涉及交互,可以使用简单的方法而不需要模拟浏览器。

可以直接

<strong>http://www.php.cn/"guanjianci"</strong>
Copier après la connexion

<strong>for </strong>l <strong>in </strong>view_names:
 <strong>&#39;&#39;&#39;http://baike.baidu.com/search/word?word=&#39;&#39;&#39; </strong><em># 得到url的方法
</em><em> </em>name=urllib.parse.quote(l)
 name.encode(<strong>&#39;utf-8&#39;</strong>)
 url=<strong>&#39;http://baike.baidu.com/search/word?word=&#39;</strong>+name
Copier après la connexion

这里要注意关键词是中午所以要注意编码问题,由于url中不能出现空格,所以需要用quote函数处理一下。

关于quote():

在 Python2.x 中的用法是:urllib.quote(text) 。Python3.x 中是urllib.parse.quote(text) 。按照标准,URL只允许一部分ASCII 字符(数字字母和部分符号),其他的字符(如汉字)是不符合URL标准的。所以URL中使用其他字符就需要进行URL编码。URL中传参数的部分(query String),格式是:name1=value1&name2=value2&name3=value3。假如你的name或者value值中的『&』或者『=』等符号,就当然会有问题。所以URL中的参数字符串也需要把『&=』等符号进行编码。URL编码的方式是把需要编码的字符转化为%xx的形式。通常URL编码是基于UTF-8的(当然这和浏览器平台有关)

例子:

比如『我,unicode 为 0x6211,UTF-8编码为0xE60x880x91,URL编码就是 %E6%88%91。

Python的urllib库中提供了quotequote_plus两种方法。这两种方法的编码范围不同。不过不用深究,这里用quote就够了。

2、下载url

用urllib库轻松实现,见下面的代码中def download(self,url)

3、利用Beautifulsoup获取html

4、数据分析

百科中的内容是并列的段,所以在爬的时候不能自然的按段逻辑存储(因为全都是并列的)。所以必须用正则的方法。

基本的想法就是把整个html文件看做是str,然后用正则的方法截取想要的内容,在重新把这段内容转换成beautifulsoup对象,然后在进一步处理。

可能要花些时间看一下正则。

代码中还有很多细节,忘了再查吧只能,下次绝对应该边做编写文档,或者做完马上写。。。

贴代码!

# coding:utf-8
&#39;&#39;&#39;
 function:爬取百度百科所有北京景点,
 author:yi
&#39;&#39;&#39;
import urllib.request
from urllib.request import urlopen
from urllib.error import HTTPError
import urllib.parse
from bs4 import BeautifulSoup
import re
import codecs
import json
 
class BaikeCraw(object):
 def __init__(self):
  self.urls =set()
  self.view_datas= {}
 
 def craw(self,filename):
  urls = self.getUrls(filename)
  if urls == None:
   print("not found")
  else:
   for urll in urls:
    print(urll)
    try:
     html_count=self.download(urll)
     self.passer(urll, html_count)
    except:
     print("view do not exist")
    &#39;&#39;&#39;file=self.view_datas["view_name"]
    self.craw_pic(urll,file,html_count)
     print(file)&#39;&#39;&#39;
 
 
 def getUrls (self, filename):
  new_urls = set()
  file_object = codecs.open(filename, encoding=&#39;utf-16&#39;, )
  try:
   all_text = file_object.read()
  except:
   print("文件打开异常!")
   file_object.close()
  file_object.close()
  view_names=all_text.split(" ")
  for l in view_names:
   if &#39;?&#39; in l:
    view_names.remove(l)
  for l in view_names:
   &#39;&#39;&#39;http://baike.baidu.com/search/word?word=&#39;&#39;&#39; # 得到url的方法
   name=urllib.parse.quote(l)
   name.encode(&#39;utf-8&#39;)
   url=&#39;http://baike.baidu.com/search/word?word=&#39;+name
   new_urls.add(url)
  print(new_urls)
  return new_urls
 
 def manger(self):
  pass
 
 def passer(self,urll,html_count):
  soup = BeautifulSoup(html_count, &#39;html.parser&#39;, from_encoding=&#39;utf_8&#39;)
  self._get_new_data(urll, soup)
  return
 
 def download(self,url):
  if url is None:
   return None
  response = urllib.request.urlopen(url)
  if response.getcode() != 200:
   return None
  return response.read()
 
 def _get_new_data(self, url, soup): ##得到数据
  if soup.find(&#39;p&#39;,class_="main-content").find(&#39;h1&#39;) is not None:
   self.view_datas["view_name"]=soup.find(&#39;p&#39;,class_="main-content").find(&#39;h1&#39;).get_text()#景点名
   print(self.view_datas["view_name"])
  else:
   self.view_datas["view_name"] = soup.find("p", class_="feature_poster").find("h1").get_text()
  self.view_datas["view_message"] = soup.find(&#39;p&#39;, class_="lemma-summary").get_text()#简介
  self.view_datas["basic_message"]=soup.find(&#39;p&#39;, class_="basic-info cmn-clearfix").get_text() #基本信息
  self.view_datas["basic_message"]=self.view_datas["basic_message"].split("\n")
  get=[]
  for line in self.view_datas["basic_message"]:
   if line != "":
   get.append(line)
  self.view_datas["basic_message"]=get
  i=1
  get2=[]
  tmp="%%"
  for line in self.view_datas["basic_message"]:
 
   if i % 2 == 1:
    tmp=line
   else:
    a=tmp+":"+line
    get2.append(a)
   i=i+1
  self.view_datas["basic_message"] = get2
  self.view_datas["catalog"] = soup.find(&#39;p&#39;, class_="lemma-catalog").get_text().split("\n")#目录整体
  get = []
  for line in self.view_datas["catalog"]:
   if line != "":
    get.append(line)
  self.view_datas["catalog"] = get
  #########################百科内容
  view_name=self.view_datas["view_name"]
  html = urllib.request.urlopen(url)
  soup2 = BeautifulSoup(html.read(), &#39;html.parser&#39;).decode(&#39;utf-8&#39;)
  p = re.compile(r&#39;&#39;, re.DOTALL) # 尾
  r = p.search(content_data_node)
  content_data = content_data_node[0:r.span(0)[0]]
  lists = content_data.split(&#39;&#39;)
  i = 1
  for list in lists:#每一大块
   final_soup = BeautifulSoup(list, "html.parser")
   name_list = None
   try:
    part_name = final_soup.find(&#39;h2&#39;, class_="title-text").get_text().replace(view_name, &#39;&#39;).strip()
    part_data = final_soup.get_text().replace(view_name, &#39;&#39;).replace(part_name, &#39;&#39;).replace(&#39;编辑&#39;, &#39;&#39;) # 历史沿革
    name_list = final_soup.findAll(&#39;h3&#39;, class_="title-text")
    all_name_list = {}
    na="part_name"+str(i)
    all_name_list[na] = part_name
    final_name_list = []###########
    for nlist in name_list:
     nlist = nlist.get_text().replace(view_name, &#39;&#39;).strip()
     final_name_list.append(nlist)
    fin="final_name_list"+str(i)
    all_name_list[fin] = final_name_list
    print(all_name_list)
    i=i+1
    #正文
    try:
     p = re.compile(r&#39;&#39;, re.DOTALL)
     final_soup = final_soup.decode(&#39;utf-8&#39;)
     r = p.search(final_soup)
     final_part_data = final_soup[r.span(0)[0]:]
     part_lists = final_part_data.split(&#39;&#39;)
     for part_list in part_lists:
      final_part_soup = BeautifulSoup(part_list, "html.parser")
      content_lists = final_part_soup.findAll("p", class_="para")
      for content_list in content_lists: # 每个最小段
       try:
        pic_word = content_list.find("p",
                class_="lemma-picture text-pic layout-right").get_text() # 去掉文字中的图片描述
        try:
         pic_word2 = content_list.find("p", class_="description").get_text() # 去掉文字中的图片描述
         content_list = content_list.get_text().replace(pic_word, &#39;&#39;).replace(pic_word2, &#39;&#39;)
        except:
         content_list = content_list.get_text().replace(pic_word, &#39;&#39;)
 
       except:
        try:
         pic_word2 = content_list.find("p", class_="description").get_text() # 去掉文字中的图片描述
         content_list = content_list.get_text().replace(pic_word2, &#39;&#39;)
        except:
         content_list = content_list.get_text()
       r_part = re.compile(r&#39;\[\d.\]|\[\d\]&#39;)
       part_result, number = re.subn(r_part, "", content_list)
       part_result = "".join(part_result.split())
       #print(part_result)
    except:
     final_part_soup = BeautifulSoup(list, "html.parser")
     content_lists = final_part_soup.findAll("p", class_="para")
     for content_list in content_lists:
      try:
       pic_word = content_list.find("p", class_="lemma-picture text-pic layout-right").get_text() # 去掉文字中的图片描述
       try:
        pic_word2 = content_list.find("p", class_="description").get_text() # 去掉文字中的图片描述
        content_list = content_list.get_text().replace(pic_word, &#39;&#39;).replace(pic_word2, &#39;&#39;)
       except:
        content_list = content_list.get_text().replace(pic_word, &#39;&#39;)
 
      except:
       try:
        pic_word2 = content_list.find("p", class_="description").get_text() # 去掉文字中的图片描述
        content_list = content_list.get_text().replace(pic_word2, &#39;&#39;)
       except:
        content_list = content_list.get_text()
      r_part = re.compile(r&#39;\[\d.\]|\[\d\]&#39;)
      part_result, number = re.subn(r_part, "", content_list)
      part_result = "".join(part_result.split())
      #print(part_result)
 
   except:
    print("error")
  return
 
 def output(self,filename):
  json_data = json.dumps(self.view_datas, ensure_ascii=False, indent=2)
  fout = codecs.open(filename+&#39;.json&#39;, &#39;a&#39;, encoding=&#39;utf-16&#39;, )
  fout.write( json_data)
  # print(json_data)
  return
 
 def craw_pic(self,url,filename,html_count):
  soup = BeautifulSoup(html_count, &#39;html.parser&#39;, from_encoding=&#39;utf_8&#39;)
  node_pic=soup.find(&#39;p&#39;,class_=&#39;banner&#39;).find("a", href=re.compile("/photo/poi/....\."))
  if node_pic is None:
   return None
  else:
   part_url_pic=node_pic[&#39;href&#39;]
   full_url_pic=urllib.parse.urljoin(url,part_url_pic)
   #print(full_url_pic)
  try:
   html_pic = urlopen(full_url_pic)
  except HTTPError as e:
   return None
  soup_pic=BeautifulSoup(html_pic.read())
  pic_node=soup_pic.find(&#39;p&#39;,class_="album-list")
  print(pic_node)
  return
 
if __name__ =="__main__" :
 spider=BaikeCraw()
 filename="D:\PyCharm\\view_spider\\view_points_part.txt"
 spider.craw(filename)
Copier après la connexion

总结

用python3根据关键词爬取百度百科的内容到这就基本结束了,希望这篇文章能对大家学习python有所帮助。

更多python3根据关键词爬取百度百科的内容相关文章请关注PHP中文网!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Comment utiliser Python pour trouver la distribution ZIPF d'un fichier texte Comment utiliser Python pour trouver la distribution ZIPF d'un fichier texte Mar 05, 2025 am 09:58 AM

Ce tutoriel montre comment utiliser Python pour traiter le concept statistique de la loi de Zipf et démontre l'efficacité de la lecture et du tri de Python de gros fichiers texte lors du traitement de la loi. Vous vous demandez peut-être ce que signifie le terme distribution ZIPF. Pour comprendre ce terme, nous devons d'abord définir la loi de Zipf. Ne vous inquiétez pas, je vais essayer de simplifier les instructions. La loi de Zipf La loi de Zipf signifie simplement: dans un grand corpus en langage naturel, les mots les plus fréquents apparaissent environ deux fois plus fréquemment que les deuxième mots fréquents, trois fois comme les troisième mots fréquents, quatre fois comme quatrième mots fréquents, etc. Regardons un exemple. Si vous regardez le corpus brun en anglais américain, vous remarquerez que le mot le plus fréquent est "th

Comment utiliser la belle soupe pour analyser HTML? Comment utiliser la belle soupe pour analyser HTML? Mar 10, 2025 pm 06:54 PM

Cet article explique comment utiliser la belle soupe, une bibliothèque Python, pour analyser HTML. Il détaille des méthodes courantes comme find (), find_all (), select () et get_text () pour l'extraction des données, la gestion de diverses structures et erreurs HTML et alternatives (Sel

Filtrage d'image en python Filtrage d'image en python Mar 03, 2025 am 09:44 AM

Traiter avec des images bruyantes est un problème courant, en particulier avec des photos de téléphones portables ou de caméras basse résolution. Ce tutoriel explore les techniques de filtrage d'images dans Python à l'aide d'OpenCV pour résoudre ce problème. Filtrage d'image: un outil puissant Filtre d'image

Comment travailler avec des documents PDF à l'aide de Python Comment travailler avec des documents PDF à l'aide de Python Mar 02, 2025 am 09:54 AM

Les fichiers PDF sont populaires pour leur compatibilité multiplateforme, avec du contenu et de la mise en page cohérents sur les systèmes d'exploitation, les appareils de lecture et les logiciels. Cependant, contrairement aux fichiers de texte brut de traitement Python, les fichiers PDF sont des fichiers binaires avec des structures plus complexes et contiennent des éléments tels que des polices, des couleurs et des images. Heureusement, il n'est pas difficile de traiter les fichiers PDF avec les modules externes de Python. Cet article utilisera le module PYPDF2 pour montrer comment ouvrir un fichier PDF, imprimer une page et extraire du texte. Pour la création et l'édition des fichiers PDF, veuillez vous référer à un autre tutoriel de moi. Préparation Le noyau réside dans l'utilisation du module externe PYPDF2. Tout d'abord, l'installez en utilisant PIP: pip is p

Comment se cacher en utilisant Redis dans les applications Django Comment se cacher en utilisant Redis dans les applications Django Mar 02, 2025 am 10:10 AM

Ce tutoriel montre comment tirer parti de la mise en cache Redis pour augmenter les performances des applications Python, en particulier dans un cadre Django. Nous couvrirons l'installation redis, la configuration de Django et les comparaisons de performances pour mettre en évidence le bien

Comment effectuer l'apprentissage en profondeur avec TensorFlow ou Pytorch? Comment effectuer l'apprentissage en profondeur avec TensorFlow ou Pytorch? Mar 10, 2025 pm 06:52 PM

Cet article compare TensorFlow et Pytorch pour l'apprentissage en profondeur. Il détaille les étapes impliquées: préparation des données, construction de modèles, formation, évaluation et déploiement. Différences clés entre les cadres, en particulier en ce qui concerne le raisin informatique

Introduction à la programmation parallèle et simultanée dans Python Introduction à la programmation parallèle et simultanée dans Python Mar 03, 2025 am 10:32 AM

Python, un favori pour la science et le traitement des données, propose un écosystème riche pour l'informatique haute performance. Cependant, la programmation parallèle dans Python présente des défis uniques. Ce tutoriel explore ces défis, en se concentrant sur l'interprète mondial

Comment implémenter votre propre structure de données dans Python Comment implémenter votre propre structure de données dans Python Mar 03, 2025 am 09:28 AM

Ce didacticiel montre la création d'une structure de données de pipeline personnalisée dans Python 3, en tirant parti des classes et de la surcharge de l'opérateur pour une fonctionnalité améliorée. La flexibilité du pipeline réside dans sa capacité à appliquer une série de fonctions à un ensemble de données, GE

See all articles