PHP と Selenium を使用して自動クローラーを迅速に実装する方法

インターネットの発展に伴い、クローラー技術はあらゆる分野で広く使用されています。自動クローラーは、データ収集と Web サイトのテストで広く使用されています。この記事では、PHP と Selenium を使用して自動クローラーを迅速に実装する方法を紹介します。

1. Selenium の概要

Selenium は、Web アプリケーションのテストに広く使用されている自動テスト ツールです。 Selenium IDE は Web アプリケーション テスト ツールであり、Selenium WebDriver は、Java、C#、Python、PHP などの多くのプログラミング言語のインターフェイスを提供するブラウザ駆動の自動テスト ツールです。

Selenium WebDriver はブラウザに基づいてテストされ、ブラウザの動作を制御し、Web アプリケーションのユーザーの操作動作をシミュレートできます。 Selenium WebDriver を使用すると、Web 自動テストと Web データ収集を簡単に実行できます。

2. PHP は Selenium WebDriver を使用します

PHP 用 Selenium WebDriver をインストールします

まず、PHP 用 Selenium WebDriver をインストールする必要があります。 Selenium WebDriver for PHP は、Composer を使用して簡単にインストールできます。プロジェクトのルート ディレクトリにcomposer.json ファイルを作成し、次の内容を追加します:

{

"name": "myproject",
"description": "Using Selenium WebDriver for PHP",
"require": {
    "php-webdriver/webdriver": "~1.4.0"
}

}

ファイルを保存した後、コマンド ラインに次のコマンドを入力してインストールできます。

composer install

これにより、必要なコンポーネントが自動的にインストールされます。

Selenium WebDriver for PHP の使用

インストールが完了したら、自動テストと Web データ収集に Selenium WebDriver for PHP の使用を開始できます。まず、WebDriver の実装クラスを導入する必要があります。

require_once 'vendor/autoload.php';

use FacebookWebDriverRemoteCapabilities;
use FacebookWebDriverRemoteWebDriverBrowserType;
use FacebookWebDriverRemoteRemoteWebDriver;

ここでは Facebook が開発した WebDriver for PHP ライブラリを使用し、上記のコードを導入して実装します。

これで、RemoteWebDriver インターフェイスを使用してブラウザに接続し、自動操作を行うことができます。

$host = 'http://localhost:4444/wd/hub';
$capabilities = array(WebDriverBrowserType::CHROME);
$driver = RemoteWebDriver::create($host , new Capabilities($capabilities));

ここでは、Chrome ブラウザを選択し、create メソッドを通じてブラウザに接続し、WebDriver インターフェイスを使用してブラウザ メソッドを呼び出し、自動テストと Web データを実装します。集めました。

3. 自動クローラの実装

次に、Selenium WebDriver for PHP を使用して自動クローラを実装します。

1. ターゲット Web サイトを決定する

まず、クロールする必要があるターゲット Web サイトを決定する必要があります。ここでは、「チーズ ネットワーク」を例に挙げます。この Web サイトでは、香港と台湾の映画の完全なコレクションをオンラインで無料で視聴できます。この Web サイトでは、映画とテレビのリソース情報を取得する必要があります。

2. クロール対象の確認

データをクロールする前に、どのデータをクロールする必要があるかを確認する必要があります。この例では、映画とテレビのタイトル、監督、俳優、製作年、あらすじなどの情報を取得する必要があります。

3. コードを書く

目標を確認したら、関連するコードを書くことができます。次のコードは、指定されたムービー名の詳細情報を取得するためのものです:

$movieName = 'YourMovieName';

// Chrome ブラウザに接続するための新しい RemoteWebDriver インスタンス
$browser = RemoteWebDriver::create ($host, new Capabilities($capabilities));
$browser->manage()->timeouts()->implicitlyWait(10);

// 開くターゲット Web サイト
$browser->get('http://www.zhishi8.com/film/')

// 検索ボックスを見つけてクエリを送信します
$searchBox = $browser-> ;findElement(WebDriverBy::id('wd'));
$searchBox->sendKeys($movieName);
$searchBox->submit();

// 結果ページが読み込まれるまで待ちます
$browser->wait()->until(

WebDriverExpectedCondition::titleContains($movieName)

);

// 見つかったムービーのリンクをクリックして待ちますロードする詳細ページ
$movieLink = $browser->findElement(WebDriverBy::xpath("//a[contains(@href, '/film/{$name}.html')]"));
$ movieLink->click();
$browser->wait()->until(

WebDriverExpectedCondition::titleContains($movieName)

);

// 映画の詳細情報を取得する
$ movieDirector = $browser->findElement(WebDriverBy::xpath("//p[contains(@class, 'lh30') and contains(text(), 'director')]"))-> getText();
$movieActor = $browser->findElement(WebDriverBy::xpath("//p[contains(@class, 'lh30') and contains(text(), 'starring')]") )-> getText();
$movie Year = $browser->findElement(WebDriverBy::xpath("//p[contains(@class, 'lh30') and contains(text(), ' Year' )]") )->getText();
$movieDetail = $browser->findElement(WebDriverBy::xpath("//p[contains(@class, 'txt lh25')]))-> ;getText() ;

// 結果を出力します
echo "映画名: {$movieName}
";
echo "監督: {$movieDirector}
";
echo "俳優: {$movieActor}
";
echo "年: {$movie Year}
";
echo "詳細: {$movieDetail}
";

合格 PHP と Selenium を使用すると、自動化されたクローラーを簡単に実装して、必要なデータを取得できます。

4.概要

この記事では、PHP と Selenium を使用して自動クローラーを迅速に実装する方法を紹介します。まずはSelenium WebDriverの基礎知識とインストール方法を紹介しました。次に、PHP と Selenium WebDriver を使用して自動クローラを実装する方法を例を通して説明しました。最後にこの記事の内容をまとめますので、お役に立てれば幸いです。

以上がPHP と Selenium を使用して自動クローラーを迅速に実装する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。