美しいスープとセレンでモダンなウェブスクレイピング

Webスクレイピング：Webページからデータを効率的に抽出

このチュートリアルでは、Webページのコンテンツのレンダリング方法と、Python、リクエスト、美しいスープ、セレンを使用してそれを削る方法を説明しています。 ダイナミックコンテンツのスクレイピング、特にコメントに焦点を当てます

いつウェブスクレイピングが必要ですか？

Webスクレイピングは、Webページから情報を自動的に取得、解析、抽出します。 APIが利用できないときの最後の手段です。 これらの欠点を考慮してください：

脆弱性：
1. webページが頻繁に変更され、スクレーパーを壊します。
制限：
2. 多くのウェブサイトはスクレイピングを禁止しています パフォーマンス：
大量のデータのスクレイプは、遅くて高価になる可能性があります。
3. 現代のWebページの理解
典型的なWebアプリケーションの構造を調べてみましょう。 例として「Vagrantの紹介」記事を使用します。 コンテンツをこするには、最初に関連するHTML要素を見つける必要があります。

ページソースの表示

ブラウザでは、HTMLソースを表示できます。 「Vagrantの紹介」ソースは、記事のコンテンツ自体とは無関係の模倣されたJavaScriptのかなりの部分を明らかにしています。 小さな抜粋を以下に示します：

これが実際のHTML：

のサンプルです

static vs. dynamic scraping

静的スクレイピング

JavaScriptを無視し、RAWサーバー側のHTMLを取得します。 これは、ターゲットコンテンツが直接ソースにある場合に機能します。 ただし、JavaScript（動的コンテンツ）によって生成されたコンテンツの場合、このメソッドは失敗します。

ダイナミックスクレイピングセレンとのダイナミックなコメントのスクレイピング

ウェブサイトからコメントをこすりましょう（例：Codecanyonコメント）。 Seleniumを使用して、コメントURLに移動します コメント要素を見つけるには、ページを検査する必要があります（右クリック、「検査」）。 Seleniumのは、非同期負荷を処理するのに役立ちます：

結論

必要なデータがAPIを介して容易に入手できない場合、

Webスクレイピングは価値があります。 最新のWebアプリケーションに挑戦しながら、リクエスト、美しいスープ、セレンなどのツールがプロセスを簡素化します。

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://codecanyon.net/item/whatshelp-whatsapp-help-and-support-plugin-for-javascript/42202303/comments')

このチュートリアルには、Envato Tutsのソフトウェア開発者兼ライターであるEsther Vaatiからの貢献が組み込まれています。

以上が美しいスープとセレンでモダンなウェブスクレイピングの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。