So erstellen Sie einen schnellen und effizienten Webcrawler mit PHP und Selenium

In der riesigen Welt des Internets gibt es eine riesige Menge an Informationen, die ausgewertet werden müssen. Zu dieser Zeit entstanden Webcrawler. Die Art und Weise, wie Crawler geschrieben werden, ist jedoch sehr unterschiedlich. Unterschiedliche Kombinationen von Sprachen und Tools können unterschiedliche Effizienzen und unterschiedliche Lernkosten haben. In diesem Artikel wird erläutert, wie Sie mit PHP und Selenium einen schnellen und effizienten Webcrawler erstellen.

Was ist Selenium? Selenium ist ein automatisiertes Testtool, das menschliche Vorgänge auf Webseiten simulieren kann. Es unterstützt mehrere Programmiersprachen wie Java, Python, C# und PHP usw. Die aktuelle Version ist Selenium WebDriver. Im Vergleich zur Vorgängerversion muss Selenium RC nicht als mittlere Schicht verwendet werden, sondern kommuniziert direkt mit dem Browser, was die Geschwindigkeit und Stabilität erheblich verbessert hat.

Warum PHP und Selenium wählen?

Zuallererst ist PHP eine beliebte serverseitige Programmiersprache mit guter Lesbarkeit und Skalierbarkeit. Zweitens kann Selenium als automatisiertes Testtool verschiedene Browser steuern, problemlos menschliche Vorgänge auf Webseiten simulieren und die endgültigen gewünschten Daten erfassen. Da schließlich die in der PHP-Sprache verwendete Curl-Funktion möglicherweise von der Website blockiert wird, kann Selenium das echte Browserverhalten simulieren und wird nicht so leicht blockiert.

Selenium installieren

Bevor Sie Selenium installieren, müssen Sie zuerst Composer installieren. Wenn Sie Composer nicht installiert haben, lesen Sie bitte die offizielle Dokumentation, um es zu installieren.

Nach der Installation von Composer installieren Sie die PHP-Schnittstelle von Selenium über Composer:

composer require facebook/webdriver

Crawler-Code schreiben

Zuerst müssen wir den Client von Selenium WebDriver vorstellen:

require_once 'vendor/autoload.php';
use FacebookWebDriverRemoteRemoteWebDriver;
use FacebookWebDriverWebDriverBy;

Dann müssen wir einen WebDriver instanziieren und den zu startenden auswählen Browser und entsprechender Treiberpfad:

$driver = RemoteWebDriver::create(
    'http://localhost:9515',
    DesiredCapabilities::chrome()
);

Hier wählen wir, den Chrome-Browser zu starten. Wir müssen ChromeDriver im Voraus herunterladen und den Treiberpfad festlegen:

putenv('webdriver.chrome.driver=/usr/local/bin/chromedriver');

Dann können wir eine Webseite öffnen und die darin enthaltenen Daten abrufen:

$driver->get("https://www.example.com");
$elements = $driver->findElements(WebDriverBy::cssSelector(".example-class"));
foreach ($elements as $element) {
    echo $element->getText() . "
";
}

Der Code hier öffnet eine example.com-Seite, findet dann das Element, dessen Klasse example-class ist, und druckt es aus.

So beschleunigen Sie den Crawler

Im Vergleich zu anderen Crawler-Tools ist der Selenium-Crawler langsamer, hauptsächlich weil jeder Vorgang das Starten und Schließen des Browsers erfordert. Um den Crawler zu beschleunigen, können wir die WebDriver-Instanz zwischenspeichern.

$host = 'http://localhost:9515';
$options = new ChromeOptions();
$options->addArguments(['--headless']);
$caps = DesiredCapabilities::chrome();
$caps->setCapability(ChromeOptions::CAPABILITY, $options);
$driver = RemoteWebDriver::create($host, $caps);

function get_web_driver() {
    global $driver;
    $status = true;
    try {
        $driver->getTitle();
    } catch (Exception $e) {
        $status = false;
    }
    if (!$status) {
        $releaseWebDriver = function() use($driver){ $driver->close(); $driver->quit(); };
        register_shutdown_function($releaseWebDriver);
        $options = new ChromeOptions();
        $options->addArguments(['--headless']);
        $caps = DesiredCapabilities::chrome();
        $caps->setCapability(ChromeOptions::CAPABILITY, $options);
        $new_driver = RemoteWebDriver::create(
            'http://localhost:9515',
            $caps
        );
        $driver = $new_driver;
    }
    return $driver;
}

Der obige Code ist für den Chrome-Browser, richtet den Headless-Modus ein und implementiert den Cache des WebDriver-Objekts. Er verwendet die Funktion register_shutdown_function(), um den Betrieb des WebDriver-Objekts abzumelden und so ein häufiges Starten des Browsers zu vermeiden Verbesserung der Effizienz des Crawlers.

Fazit

Im Allgemeinen kann die Verwendung von PHP in Kombination mit Selenium zum Schreiben eines Webcrawlers schnell und effizient die erforderlichen Daten erfassen. Es ist jedoch zu beachten, dass der Einsatz von Webcrawlern dennoch den einschlägigen Gesetzen und Vorschriften entsprechen muss und nicht gegen die Website-Bestimmungen verstoßen oder persönliche Informationen und andere Daten erfassen darf, da Sie sonst möglicherweise unnötigen rechtlichen Risiken ausgesetzt sind.

Das obige ist der detaillierte Inhalt vonSo erstellen Sie einen schnellen und effizienten Webcrawler mit PHP und Selenium. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!