Comment utiliser le robot d'exploration Python pour obtenir ces précieux articles de blog-Tutoriel Python-php.cn

Le contenu de cet article explique comment utiliser le robot d'exploration Python pour obtenir ces précieux articles de blog. Maintenant, je le partage avec vous. Les amis dans le besoin peuvent se référer au contenu de cet article

Comment utiliser le robot dexploration Python pour obtenir ces précieux articles de blog

Auteur CDA Data Analyst

Il existe de nombreux articles de blog techniques merveilleux sur le CSDN , Nous pouvons l'explorer et l'enregistrer sur le disque local, ce qui est très pratique pour lire et apprendre plus tard. Nous allons maintenant utiliser Python pour écrire un code de robot pour atteindre cet objectif.

Ce que nous voulons faire : lire automatiquement les articles de blog, enregistrer les titres et enregistrer les articles favoris dans votre compte personnel. Enregistrez-le sur le disque dur de votre ordinateur pour référence future.

Le processus est grossièrement divisé en les étapes suivantes :

1. Trouvez l'URL cible analysée
2. page Web, recherchez les informations que vous souhaitez enregistrer. Ici, nous enregistrons principalement le contenu des articles de blog
3. sur le disque local.

Ouvrez la page web csdn A titre d'exemple, nous ouvrons aléatoirement une page web :

http://blog.csdn.net/u013088062/article/list/1.

Comme vous pouvez le constater, le blogueur est très intéressé par "C++ Convolutional Neural Network" et d'autres articles sur les ordinateurs machines .Bien écrit.

Comment utiliser le robot dexploration Python pour obtenir ces précieux articles de blog

Le code du robot est divisé en trois catégories (classes) selon l'idée. Les trois suivantes avec "#" donnent le début de chaque classe (le code spécifique est joint pour que chacun puisse l'exécuter et l'implémenter) :

Comment utiliser le robot dexploration Python pour obtenir ces précieux articles de blog

La méthode "class" appartient à la programmation orientée objet de Python, qui est parfois meilleure que la programmation orientée processus que nous utilisons habituellement. , la programmation orientée objet est souvent utilisée dans les grands projets. Pour les débutants, la programmation orientée objet n'est pas facile à maîtriser, mais après l'avoir appris et s'y être habitué, ils passeront progressivement de la programmation orientée processus à la programmation orientée objet.

La note spéciale est que la classe RePage utilise principalement des expressions régulières pour traiter les informations obtenues à partir des pages Web. style de chaîne comme suit :

Comment utiliser le robot dexploration Python pour obtenir ces précieux articles de blog

Utilisez des expressions régulières pour correspondre au contenu à explorer, ce qui peut être réalisé avec Python et d'autres outils logiciels. Il existe de nombreuses règles pour les expressions régulières et chaque logiciel les utilise de la même manière. Faire bon usage des expressions régulières est une partie importante des robots d’exploration et de l’exploration de texte.

La classe SaveText enregistre les informations localement L'effet est le suivant :

Comment utiliser le robot dexploration Python pour obtenir ces précieux articles de blog

Utilisez Python pour écrire du code de robot, qui est simple et efficace. Cet article explique uniquement l'utilisation la plus élémentaire du robot. Les amis intéressés peuvent télécharger le code et y jeter un œil.

Ci-joint le code Python correspondant :

1#-*-coding:UTF-8-*- 2importer re 3importerurllib2 4importersys 5#Objectif : Lisez les articles de blog, enregistrez les titres et enregistrez le contenu des articles au format Htnl 6# Version : python2.7.13 7 #Fonction : Lire le contenu de la page Web 8class GetHtmlPage() : 9 #Notez la casse 10 def __init__ (self,strPage): 11 self.strPapge = 🎜> 13 = urllib2 .Request(self.strPapge) # Créer une demande de page 15 rep = req.add_header("User-Agent", "Mozilla /5.0 (Windows NT 6.1 ; WOW64) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0")16 Demande Web 18 page = cn.read() 🎜>"utf-8") Encodage de pages Web 20 🎜> sauf urllib2.URLError, , par exemple CODE 24 Retour 25 Sauf Urllib2.httperror, e: #capture anomalie 26 retour 28 30classe RePage(): 31# L'expression régulière extrait le contenu et renvoie la liste chaînée 32 def GetReText(self,page,recode): 33 rePage = re.findall(recode,page,re.S) 34 retour rePage 35#Enregistrer le texte 36classe Enregistrer le texte(): 37 def Enregistrer(soi, texte, inclinaison): 38 >40 via f.close()43 sauf IOError,e : 44 🎜>45 si __name__ == "__main__" :46 s = SaveText() 47 #Encodage des fichiers 48 #Les caractères sont correctement décodés 49 reload(sys) 50 sys.setdefaultencoding( "utf-8" ) #Obtenir la valeur par défaut du système encodage 51 #Obtenir la page Web 52 page = GetHtmlPage("http://blog.csdn. net/u013088062/article/list/1") 53 htmlPage = page.GetPage() 54 #Extraire le contenu 55 reServer = RePage() 56 reBlog = reServer.GetReText(htmlPage,r'.*?(s.+?) ') #Récupérer le lien URL et le titre 57 #Descendre pour récupérer le texte 58 pour ref dans reBlog: 59 pageHeard = "http://blog.csdn.net/" #Ajouter un lien 60 strPage = pageHeard+ref[0] 61 tilte=ref[1].replace('[Top]', "") #Utilisez la fonction de remplacement pour supprimer l'anglais complexe 62 tilte=tilte.replace("rn","").lstrip().rstrip()63 #获取正文 64 htmlPage = GetHtmlPage(strPage) 65 htmlPageData = () 66 reBlogText = reServer.GetReText(htmlPageData,'

(.+?)<code style="margin-right:2px;margin-left:2px;padding:.5em;line-height:15px;font-size:11px;word-spacing:-3px;letter-spacing:0px;font-family:Consolas, Inconsolata, Courier, monospace;color:rgb(220,220,220);display:block !important;overflow:auto !important;background:rgb(63,63,63);">(.+?)

')<code style="margin-right:2px;margin-left:2px;padding:.5em;line-height:15px;font-size:11px;word-spacing:-3px;letter-spacing:0px;font-family:Consolas, Inconsolata, Courier, monospace;color:rgb(220,220,220);display:block !important;overflow:auto !important;background:rgb(63,63,63);">') 67 #保存文件 68 for s1 in reBlogText: 69 s1='n'+s1 70 s.Save(s1,tilte)

#保存文件

pour s1 in reBlogText:69

s1=

'n'+s170 s.Save(s1,tilte)