Python Webクローラ機能の基本的な書き方の紹介

この記事では主にPythonWebクローラー機能の基本的な書き方を紹介します Webクローラー、つまりWeb Spiderは非常に鮮やかな名前です。インターネットをクモの巣に例えると、クモはウェブ上を這うクモです。ウェブ クローラーに興味のある友人は、この記事を参照してください。

ウェブ クローラー、つまりウェブ スパイダー は非常に鮮やかな名前です。 。インターネットを蜘蛛の巣に例えると、蜘蛛は巣の上を這っている蜘蛛です。

1. Web クローラーの定義

ウェブ スパイダーは、Web ページのリンク アドレスを通じて Web ページを検索します。 Web サイトの特定のページ (通常はホームページ) から開始して、Web ページのコンテンツを読み、Web ページ内の他のリンク アドレスを見つけ、次にこれらのリンク アドレスを通じて次の Web ページを見つけます。このサイクルは、この Web サイトのすべてのリンクが完了するまで続きます。すべての Web ページがクロールされるまで。インターネット全体が Web サイトとみなされる場合、Web スパイダーはこの原理を使用して、インターネット上のすべての Web ページをクロールできます。このように、Web クローラーはクローラー、Web ページを巡回するプログラムです。 Web クローラーの基本的な操作は、Web ページをクロールすることです。

2. Web ページを閲覧するプロセス

Web ページをクロールするプロセスは、読者が通常

IE ブラウザ

を使用して Web ページを閲覧する方法と実際には同じです。たとえば、ブラウザのアドレス バーにアドレス www.baidu.com を入力します。 Web ページを開くプロセスは、実際には、ブラウザーが閲覧「クライアント」としてサーバーにリクエストを送信し、サーバー側のファイルをローカルに「取得」し、それらを解釈して表示するというものです。

HTML は、タグを使用してコンテンツをマークし、解析して区別するマークアップ言語です。ブラウザの機能は、取得した HTML コードを解析し、元のコードを直接表示される Web サイトのページに変換することです。

3. Python に基づく Web クローラー機能

1) Python で HTML ページを取得します実際、最も基本的な Web サイトの取得は次の 2 つの文だけです:

import urllib2
content = urllib2.urlopen('http://XXXX').read()

重要な問題は、必要な有用な情報をドキュメント全体ではなく、このドキュメントから取得する必要がある場合があるということです。これには、さまざまなタグが埋め込まれた HTML を解析する必要があります。

2). Python クローラーがページをクロールした後に HTML を解析する方法

Python クローラーの HTML 解析ライブラリ SGMLParser Python にはデフォルトで HTMLParser や SGMLParser などのパーサーが付属しています。を使用するために、SGMLParser を使用してサンプル プログラムを作成しました:

import urllib2
from sgmllib import SGMLParser
 
class ListName(SGMLParser):
def init(self):
SGMLParser.init(self)
self.is_h4 = ""
self.name = []
def start_h4(self, attrs):
self.is_h4 = 1
def end_h4(self):
self.is_h4 = ""
def handle_data(self, text):
if self.is_h4 == 1:
self.name.append(text)
 
content = urllib2.urlopen('http://169it.com/xxx.htm').read()
listname = ListName()
listname.feed(content)
for item in listname.name:
print item.decode('gbk').encode('utf8')

これは非常に簡単で、ListName というクラスがここで定義されており、

SGMLParser のメソッドを継承しています。

変数 is_h4 をマークとして使用し、HTML ファイル内の h4 タグが見つかった場合、タグ内の内容がリスト変数名に追加されます。 start_h4() と end_h4() 関数について説明します。そのプロトタイプは SGMLParser の

start_tagname(self, attrs)
end_tagname(self)

tagname です。たとえば、

 が見つかった場合、start_pre> が呼び出されます。 ;/pre&gt が呼び出されます;、end_pre が呼び出されます。 attrs はラベルのパラメーターであり、[(属性, 値), (属性, 値), ...] の形式で返されます。 </p><p class="jb51code"><br/></p>PythonクローラーHTML解析ライブラリpyQuery<p></p><p><span style="color: #333333">pyQueryは、Pythonで<strong>jQuery</strong>を実装したもので、HTML文書をjQuery構文で操作・解析することができ、非常に便利です。使用する前に、easy_install pyquery、または Ubuntu の下にインストールする必要があります </span></p><p><a href="http://www.php.cn/wiki/1495.html" target="_blank"><div class="code" style="position:relative; padding:0px; margin:0px;"><pre class='brush:php;toolbar:false;'>sudo apt-get install python-pyquery

ログイン後にコピー

次の例:

from pyquery import PyQuery as pyq
doc=pyq(url=r'http://169it.com/xxx.html')
cts=doc('.market-cat')
 
for i in cts:
print '====',pyq(i).find('h4').text() ,'===='
for j in pyq(i).find('.sub'):
print pyq(j).text() ,
print '\n'

Python クローラー HTML 解析ライブラリ BeautifulSoup

頭痛の種は、Web のほとんどの部分です。ページは標準に完全に準拠して書かれておらず、Web ページを書いた人を見つけて叩きのめしたくなるような、あらゆる種類の不可解なエラーが存在します。この問題を解決するには、フォールト トレランスに優れた有名な BeautifulSoup を選択して HTML ドキュメントを解析します。 以上がこの記事の全内容であり、Python Web クローラー機能の実装について詳しく説明しています。皆さんの学習に役立つことを願っています。

以上がPython Webクローラ機能の基本的な書き方の紹介の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。