Python クローラーを使用して貴重なブログ投稿を取得する方法-Python チュートリアル-php.cn

この記事の内容は、Python クローラーを使用して貴重なブログ投稿を取得する方法です。必要な友達はこの記事の内容を参照してください。

Python クローラーを使用して貴重なブログ投稿を取得する方法

著者 CDA データアナリスト。

CSDN には素晴らしい技術ブログ記事がたくさんあります。それらをクロールしてローカルディスクに保存できるので、将来読んだり学習したりするのに非常に便利です。この目的を達成するためのコード。

やりたいこと: ブログ記事を自動的に読み取り、タイトルを記録し、将来の学習の参考のためにお気に入りの記事をパソコンのハードドライブに保存します。

プロセスは大きく次のステップに分かれています:

1. クロールされたターゲット URL を検索します。 2. Web ページを分析し、 find own 保存したい情報。ここでは主にブログ記事の内容を保存します。
3. クロールされた情報を整理してローカルディスクに保存します。

csdn Web ページを開きます:

http://blog.csdn.net/u013088062/article/list/1。

このブロガーは、「C++ Convolutional Neural Network」や機械学習に関するその他の記事について詳しく書いていることがわかります。

Python クローラーを使用して貴重なブログ投稿を取得する方法

クローラーコードは、アイデアに従って 3 つのカテゴリ (クラス) に分割されます。「#」が付いた次の 3 つは、各クラスの始まりを示します (実際に実行して実装できるように、特定のコードが添付されています)。「クラス」アプローチは Python のオブジェクト指向プログラミングであり、私たちが通常使用するプロセス指向プログラミングよりも便利な場合があります。プログラミングは大規模なプロジェクトでよく使用されます。初心者にとってオブジェクト指向プログラミングは習得するのが簡単ではありませんが、学習して慣れてくると、徐々にプロセス指向プログラミングからオブジェクト指向プログラミングに移行していきます。

特別な注意は、RePage クラスは主に正規表現を使用して Web ページから取得した情報を処理することです。正規表現は文字列スタイルを次のように設定します。

Python クローラーを使用して貴重なブログ投稿を取得する方法

正規表現を使用して、クロールするコンテンツと一致させます。これは、Python やその他のソフトウェアツールで実現できます。正規表現には多くのルールがあり、各ソフトウェアは同様の方法でそれらを使用します。正規表現をうまく活用することは、クローラーとテキストマイニングの重要な部分です。 Python クローラーを使用して貴重なブログ投稿を取得する方法

SaveText クラスは情報をローカルに保存します。効果は次のとおりです:

Python クローラーを使用して貴重なブログ投稿を取得する方法

シンプルで効率的な Python でクローラーコードを作成します。この記事では、クローラーの最も基本的な使い方のみを説明します。興味のある方はコードをダウンロードしてご覧ください。

関連する Python コードを添付します:

1#-*-coding:UTF-8-*- 2import re 3import urllib2 4import sys 5#目的: ブログ記事を読み取り、タイトルを記録し、記事の内容を Htnl 形式で保存します 6# バージョン: python2.7.13 7# 機能: Web ページのコンテンツを読み取ります 8class gethtmlpage（）： 9＃noteケース10 ：1112urllib2.request（self.strpapge）= req.add_header（ "user-agent"、 「Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML、Gecko など) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0」 ) 16 8 cn.read() 。 "utf-8" ) uPage22 23 urllib2.HTTPError、e:エラー:' + e.reason27を取得する式ご希望のコンテンツ 30class RePage(): 31#正規表現はコンテンツを抽出し、リンクされたリストを返します 32 def GetReT ext (自分、ページ、記録) : 33 rePage = re.findall(recode,page,re.S) 34 class SaveText () :37 デフォルト 保存(自分,テキスト,ティルテ) :38 t="ブログ\"+ティルテ+ ".html"40 43 IOError を除く、e :44 46 s = SaveText() 47 #ファイルエンコーディング 48 #文字デコードを正しく行う 49 reload(sys) 50 sys.setdefaultencoding( f-8" ) #システムのデフォルトのエンコーディングを取得します 51 #Webページを取得します 52 page = GetHtmlPage("http://blog.csdn.net/u013088062/article/list/1") 53 htmlPage = page.GetPage() 54 #コンテンツの抽出 55 reServer = RePage() 56 reBlog = reServer.GetReText(htmlPage,r' .*?(s. +？ http://blog.csdn.net/" " '[トップ] ', "" ) #複雑な英語を削除するには置換関数を使用します 62 tilte=tilte.replace(" rn","").lstrip().rstrip()63 #获取正文 64 htmlPage = GetHtmlPage(strPage) 65 htmlPageData = htmlPage.GetPage() 66 reBlogText = reServer.GetReText(htmlPageData,'

(.+?)(.+?)

') 67 #保存文件 68 for s1 in reBlogText: 69 s1='n'+s1 70 s.Save(s1,tilte)

')67 

#保存文件

68 s1 のin

reBlogText:

69 s1='n'+s1

70 s.Save(s1,tilte)