在Python3中使用asyncio库进行快速数据抓取的教程
web数据抓取是一个经常在python的讨论中出现的主题。有很多方法可以用来进行web数据抓取，然而其中好像并没有一个最好的办法。有一些如scrapy这样十分成熟的框架，更多的则是像mechanize这样的轻量级库。DIY自己的解决方案同样十分流行：你可以使用requests、beautifulsoup或者pyquery来实现。
方法如此多样的原因在于，数据“抓取”实际上包括很多问题：你不需要使用相同的工具从成千上万的页面中抓取数据，同时使一些Web工作流自动化（例如填一些表单然后取回数据）。我喜欢DIY的原因在于其灵活性，但是却不适合用来做大量数据的抓取，因为需要请求同步，所以大量的请求意味着你不得不等待很长时间。
在本文中，我将会为你展示一个基于新的异步库（aiohttp）的请求的代替品。我使用它写了一些速度的确很快的小数据抓取器，下面我将会为你演示是如何做到的。
asyncio的基本概念
asyncio是在python3.4中被引进的异步IO库。你也可以通过python3.3的pypi来安装它。它相当的复杂，而且我不会介绍太多的细节。相反，我将会解释你需要知道些什么，以利用它来写异步的代码。
简而言之，有两件事情你需要知道：协同程序和事件循环。协同程序像是方法，但是它们可以在代码中的特定点暂停和继续。当在等待一个IO（比如一个HTTP请求），同时执行另一个请求的时候，可以用来暂停一个协同程序。我们使用关键字yield from来设定一个状态，表明我们需要一个协同程序的返回值。而事件循环则被用来安排协同程序的执行。
关于asyncio还有很多很多，但是以上是我们到目前为止需要知道的。可能你还有些不清楚，那么让我们来看一些代码吧。
aiohttp
aiohttp是一个利用asyncio的库，它的API看起来很像请求的API。到目前为止，相关文档还不健全。但是这里有一些非常有用的例子。我们将会演示它的基本用法。
首先，我们会定义一个协同程序用来获取页面，并打印出来。我们使用 asyncio.coroutine将一个方法装饰成一个协同程序。aiohttp.request是一个协同程序，所以它是一个可读方法，我们需要使用yield from来调用它们。除了这些，下面的代码看起来相当直观：
@asyncio.coroutine
def print_page(url):
response = yield from aiohttp.request('GET', url)
body = yield from response.read_and_close(decode=True)
print(body)
如你所见，我们可以使用yield from从另一个协同程序中调用一个协同程序。为了从同步代码中调用一个协同程序，我们需要一个事件循环。我们可以通过asyncio.get_event_loop()得到一个标准的事件循环，之后使用它的run_until_complete()方法来运行协同程序。所以，为了使之前的协同程序运行，我们只需要做下面的步骤：
loop = asyncio.get_event_loop()
loop.run_until_complete(print_page('http://example.com'))
一个有用的方法是asyncio.wait，通过它可以获取一个协同程序的列表，同时返回一个将它们全包括在内的单独的协同程序，所以我们可以这样写：
loop.run_until_complete(asyncio.wait([print_page('http://example.com/foo'),
print_page('http://example.com/bar')]))
另一个是asyncio.as_completed，通过它可以获取一个协同程序的列表，同时返回一个按完成顺序生成协同程序的迭代器，因此当你用它迭代时，会尽快得到每个可用的结果。
数据抓取
现在我们知道了如何做异步HTTP请求，因此我们可以来写一个数据抓取器了。我们仅仅还需要一些工具来读取html页面，我使用了beautifulsoup来做这个事情，其余的像 pyquery或lxml也可以实现。
在这个例子中，我们会写一个小数据抓取器来从海盗湾抓取一些linux distributions的torrent 链路（海盗湾（英语：The Pirate Bay，缩写：TPB）是一个专门存储、分类及搜索Bittorrent种子文件的网站，并自称“世界最大的BitTorrent tracker（BT种子服务器）”，提供的BT种子除了有自由版权的收集外，也有不少被著作人声称拥有版权的音频、视频、应用软件与电子游戏等，为网络分享与下载的重要网站之一–译者注来自维基百科）
首先，需要一个辅助协同程序来获取请求：
@asyncio.coroutine
def get(*args, **kwargs):
response = yield from aiohttp.request('GET', *args, **kwargs)
return (yield from response.read_and_close(decode=True))
解析部分。本文并非介绍beautifulsoup的，所以这部分我会简写：我们获取了这个页面的第一个磁链。
def first_magnet(page):
soup = bs4.BeautifulSoup(page)
a = soup.find('a', title='Download this torrent using magnet')
return a['href']
在这个协同程序中，url的结果通过种子的数量进行排序，所以排名第一的结果实际上是种子最多的：
@asyncio.coroutine
def print_magnet(query):
url = 'http://thepiratebay.se/search/{}/0/7/0'.format(query)
page = yield from get(url, compress=True)
magnet = first_magnet(page)
print('{}: {}'.format(query, magnet))
最后，用下面的代码来调用以上所有的方法。
distros = ['archlinux', 'ubuntu', 'debian'] loop = asyncio.get_event_loop() f = asyncio.wait([print_magnet(d) for d in distros]) loop.run_until_complete(f)
结论
好了，现在我们来到了这个部分。你有了一个异步工作的小抓取器。这意味着多个页面可以同时被下载，所以这个例子要比使用请求的相同代码快3倍。现在你应该可以用相同的方法写出你自己的抓取器了。
你可以在这里找到生成的代码，也包括一些额外的建议。
你一旦熟悉了这一切，我建议你看一看asyncio的文档和aiohttp的范例，这些都能告诉你 asyncio拥有怎样的潜力。
这种方法（事实上是所有手动的方法）的一个局限在于，没有一个独立的库可以用来处理表单。机械化的方法拥有很多辅助工具，这使得提交表单变得十分简单，但是如果你不使用它们，你将不得不自己去处理这些事情。这可能会导致一些bug的出现，所以同时我可能会写一个这样的库（不过目前为止无需为此担心）。
额外的建议：不要敲打服务器
同时做3个请求很酷，但是同时做5000个就不那么好玩了。如果你打算同时做太多的请求，链接有可能会断掉。你甚至有可能会被禁止链接网络。
为了避免这些，你可以使用semaphore。这是一个可以被用来限制同时工作的协同程序数量的同步工具。我们只需要在建立循环之前创建一个semaphore ，同时把我们希望允许的同时请求的数量作为参数传给它既可：
sem = asyncio.Semaphore(5)
然后，我们只需要将下面
page = yield from get(url, compress=True)
替换成被semaphore 保护的同样的东西。
with (yield from sem): page = yield from get(url, compress=True)
这就可以保证同时最多有5个请求会被处理。
额外建议：进度条
这个东东是免费的哦：tqdm是一个用来生成进度条的优秀的库。这个协同程序就像asyncio.wait一样工作，不过会显示一个代表完成度的进度条。
@asyncio.coroutine
def wait_with_progress(coros):
for f in tqdm.tqdm(asyncio.as_completed(coros), total=len(coros)):
yield from f
ホットAIツール
Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ
AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。
Undress AI Tool
脱衣画像を無料で
Clothoff.io
AI衣類リムーバー
AI Hentai Generator
AIヘンタイを無料で生成します。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無料のコードエディター
SublimeText3 中国語版
中国語版、とても使いやすい
ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境
ドリームウィーバー CS6
ビジュアル Web 開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
ホットトピック
7450
15
1374
52
77
11
14
8
PSが荷重を見せ続ける理由は何ですか？
Apr 06, 2025 pm 06:39 PM
PSの「読み込み」の問題は、リソースアクセスまたは処理の問題によって引き起こされます。ハードディスクの読み取り速度は遅いか悪いです。CrystaldiskInfoを使用して、ハードディスクの健康を確認し、問題のあるハードディスクを置き換えます。不十分なメモリ：高解像度の画像と複雑な層処理に対するPSのニーズを満たすためのメモリをアップグレードします。グラフィックカードドライバーは時代遅れまたは破損しています：ドライバーを更新して、PSとグラフィックスカードの間の通信を最適化します。ファイルパスが長すぎるか、ファイル名に特殊文字があります。短いパスを使用して特殊文字を避けます。 PS独自の問題：PSインストーラーを再インストールまたは修理します。
PSが開始されたときにロードの問題を解決する方法は？
Apr 06, 2025 pm 06:36 PM
ブートがさまざまな理由によって引き起こされる可能性がある場合、「読み込み」に巻き込まれたPS：腐敗したプラグインまたは競合するプラグインを無効にします。破損した構成ファイルの削除または名前変更。不十分なプログラムを閉じたり、メモリをアップグレードしたりして、メモリが不十分であることを避けます。ソリッドステートドライブにアップグレードして、ハードドライブの読み取りをスピードアップします。 PSを再インストールして、破損したシステムファイルまたはインストールパッケージの問題を修復します。エラーログ分析の起動プロセス中にエラー情報を表示します。
PSの負荷速度をスピードアップする方法は？
Apr 06, 2025 pm 06:27 PM
Slow Photoshopの起動の問題を解決するには、次のような多面的なアプローチが必要です。ハードウェアのアップグレード（メモリ、ソリッドステートドライブ、CPU）。時代遅れまたは互換性のないプラグインのアンインストール。システムのゴミと過剰な背景プログラムを定期的にクリーンアップします。無関係なプログラムを慎重に閉鎖する。起動中に多数のファイルを開くことを避けます。
遅いPSの読み込みはコンピューター構成に関連していますか？
Apr 06, 2025 pm 06:24 PM
PSの負荷が遅い理由は、ハードウェア（CPU、メモリ、ハードディスク、グラフィックスカード）とソフトウェア（システム、バックグラウンドプログラム）の影響を組み合わせたものです。ソリューションには、ハードウェアのアップグレード（特にソリッドステートドライブの交換）、ソフトウェアの最適化（システムガベージのクリーンアップ、ドライバーの更新、PS設定のチェック）、およびPSファイルの処理が含まれます。定期的なコンピューターのメンテナンスは、PSのランニング速度を改善するのにも役立ちます。
PSがファイルを開いたときにロードの問題を解決する方法は？
Apr 06, 2025 pm 06:33 PM
「ロード」は、PSでファイルを開くときに発生します。理由には、ファイルが大きすぎるか破損しているか、メモリが不十分で、ハードディスクの速度が遅い、グラフィックカードドライバーの問題、PSバージョンまたはプラグインの競合が含まれます。ソリューションは、ファイルのサイズと整合性を確認し、メモリの増加、ハードディスクのアップグレード、グラフィックカードドライバーの更新、不審なプラグインをアンインストールまたは無効にし、PSを再インストールします。この問題は、PSパフォーマンス設定を徐々にチェックして使用し、優れたファイル管理習慣を開発することにより、効果的に解決できます。
PSが常にロードされていることを常に示しているときに、ロードの問題を解決する方法は？
Apr 06, 2025 pm 06:30 PM
PSカードは「ロード」ですか？ソリューションには、コンピューターの構成（メモリ、ハードディスク、プロセッサ）の確認、ハードディスクの断片化のクリーニング、グラフィックカードドライバーの更新、PS設定の調整、PSの再インストール、優れたプログラミング習慣の開発が含まれます。
PSフェザーリングは、遷移の柔らかさをどのように制御しますか？
Apr 06, 2025 pm 07:33 PM
羽毛の鍵は、その漸進的な性質を理解することです。 PS自体は、勾配曲線を直接制御するオプションを提供しませんが、複数の羽毛、マッチングマスク、および細かい選択により、半径と勾配の柔らかさを柔軟に調整して、自然な遷移効果を実現できます。
インストール後にMySQLの使用方法
Apr 08, 2025 am 11:48 AM
この記事では、MySQLデータベースの操作を紹介します。まず、MySQLWorkBenchやコマンドラインクライアントなど、MySQLクライアントをインストールする必要があります。 1. mysql-uroot-pコマンドを使用してサーバーに接続し、ルートアカウントパスワードでログインします。 2。CreatedAtaBaseを使用してデータベースを作成し、データベースを選択します。 3. createTableを使用してテーブルを作成し、フィールドとデータ型を定義します。 4. INSERTINTOを使用してデータを挿入し、データをクエリし、更新することでデータを更新し、削除してデータを削除します。これらの手順を習得することによってのみ、一般的な問題に対処することを学び、データベースのパフォーマンスを最適化することでMySQLを効率的に使用できます。
