【HtmlUnit】高度なWebクローラー_html/css_WEB-ITnose-htmlチュートリアル-php.cn

【HtmlUnit】高度なWebクローラー_html/css_WEB-ITnose

WBOY

リリース： 2016-06-24 11:28:59

オリジナル

1593 人が閲覧しました

以前、Yifeng は Jsoup を使用して Web コンテンツをクロールすることについての記事を書きました:

[Jsoup] HTML パーサー、Web コンテンツを簡単に取得します

Jsoup が提供する API は非常に便利で、JQuery の操作と完全に似ており、簡単に Web データをクロールします。ただし、Jsoup のような通常のクローラーツールの欠点は、js によって生成されたコンテンツを処理できないことです。

HTML 開発を行ったことがある人なら、多くの Web サイトがデータの取得と処理に ajax と JavaScript を使用していることをご存知でしょう。通常のクローラーツールは、js のコンテンツを処理できなくなりました。

たとえば、新しいテスト Web ページファイル text.html をローカルに作成します。ソースコードは次のとおりです:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"><html>    <head>        <title>main.html</title>        <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">        <meta http-equiv="description" content="this is my page">        <meta http-equiv="content-type" content="text/html; charset=UTF-8">    <style type="text/css">        a {            line-height: 30px;            margin: 20px;        }    </style>        <!--<link rel="stylesheet" type="text/css" href="./styles.css">-->        <script type="text/javascript">var datas = [ {    href : "http://www.jianshu.com/p/8d8edf25850d",    title : "推荐一款编程字体，让代码看着更美"}, {    href : "http://www.jianshu.com/p/153d9f31288d",    title : "Android 利用Camera实现中轴3D卡牌翻转效果"}, {    href : "http://www.jianshu.com/p/d6fb0c9c9c26",    title : "【Eclipse】挖掘专属最有用的快捷键组合"}, {    href : "http://www.jianshu.com/p/72d69b49d135",    title : "【IIS】Windows下利用IIS建立网站并实现局域网共享"} ];window.onload = function() {    var infos = document.getElementById("infos");    for( var i = 0 ; i < datas.length ; i++)        {            var a = document.createElement("a");            a.href = datas[i].href ;            a.innerText = datas[i].title;            infos.appendChild(a);                infos.appendChild(document.createElement("br"))        }}</script>    </head>    <body>        <div class="text" style=" text-align:center;">HtmlUnit 测试网页内容！</div>        <br>        <div id="infos"            style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">        </div>    </body></html>

ログイン後にコピー

IIS を介してローカル Web サイトを公開します (Yifeng の以前の記事を参照してください: [IIS] IIS を使用して Web サイトを構築する) Windows 上で LAN 共有を実現する)、ブラウザに表示される Web ページの効果は次のとおりです。

Web ページ表示効果.jpg

Web ページのレビュー要素を通して、本文にテキストが含まれていることがわかります。 Web ページ表示のコンテンツ:

Web ページレビュー element.jpg

ただし、Jsoup ツールから取得することは不可能です。 Web ページのソースコードから、クロールする必要があるコンテンツが、ページが表示された後に ajax と JavaScript を通じて読み込まれることがわかります。

それで、私たちは何をすべきでしょうか？この記事で推奨されているオープンソースツール、ブラウザをシミュレートできるパケットキャプチャアーティファクトである HtmlUnit を使用してください。

対応する jar パッケージを公式 Web サイトからダウンロードし、プロジェクトのライブラリに追加します。簡単なテストコードは次のとおりです:

import java.io.IOException;import java.net.MalformedURLException;import java.text.ParseException;import com.gargoylesoftware.htmlunit.BrowserVersion;import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;import com.gargoylesoftware.htmlunit.WebClient;import com.gargoylesoftware.htmlunit.html.DomElement;import com.gargoylesoftware.htmlunit.html.DomNodeList;import com.gargoylesoftware.htmlunit.html.HtmlPage;/** * @author 亦枫 * @created_time 2016年1月12日 * @file_user_todo Java测试类 * @blog http://www.jianshu.com/users/1c40186e3248/latest_articles */public class JavaTest {    /**     * 入口函数     * @param args     * @throws ParseException     */    public static void main(String[] args) throws ParseException {        try {            WebClient webClient = new WebClient(BrowserVersion.CHROME);            HtmlPage htmlPage = (HtmlPage) webClient.getPage("http://localhost/test.html");            DomNodeList domNodeList = htmlPage.getElementsByTagName("a");            for (int i = 0; i < domNodeList.size(); i++) {                DomElement domElement = (DomElement) domNodeList.get(i);                System.out.println(domElement.asText());            }            webClient.close();        } catch (FailingHttpStatusCodeException e) {            e.printStackTrace();        } catch (MalformedURLException e) {            e.printStackTrace();        } catch (IOException e) {            e.printStackTrace();        }    }}

ログイン後にコピー

実行後、結果がコンソールに表示されます:

HtmlUnit テストの結果。 jpg

ご覧のとおり、HtmlUnit は AJAX と JavaScript によって読み込まれたコンテンツをキャプチャできます。

HtmlUnit の概要は公式 Web サイトに詳しく書かれています。以下の内容は Yifeng による翻訳の一部です。

HtmlUnit は、グラフィカルインターフェイスを持たない Java ベースのブラウザプログラムです。 HTML ドキュメントを呼び出し、開発者が通常のブラウザで操作するのと同じように Web コンテンツにアクセスしたり、フォームに入力したり、ハイパーリンクをクリックしたりできるようにする API を提供できます。

JavaScript を非常によくサポートしており、現在も継続的に改良されています。同時に、非常に複雑な AJAX ライブラリを解析し、さまざまな構成で Chrome、Firefox、IE ブラウザをシミュレートできます。

HtmlUnit は通常、テスト目的と Web サイト情報の取得に使用されます。

HtmlUnit には、ネットワークリクエストのテストや Web コンテンツの取得のための多くの機能が用意されており、公式 Web サイトまたは他の Web サイトにアクセスして学習して使用できます。

Yifeng WeChat 公開アカウント: Technology Birds のフォローへようこそ。一緒に学び、一緒に進歩しましょう!

テクノロジー Bird_WeChat QR Code.gif