Vor kurzem haben mit der Entwicklung der Internet-Crawler-Technologie immer mehr Unternehmen und Einzelpersonen damit begonnen, Crawler zu verwenden, um Website-Informationen abzurufen und bei der Analyse von Geschäftsdaten, Wettbewerbsproduktanalysen usw. zu helfen. Bei der tatsächlichen Crawler-Entwicklung ist es häufig erforderlich, schnell einen einfachen Crawler-Code zu generieren, um die Datenerfassung schnell zu implementieren. In diesem Artikel wird die Einführungspraxis der Implementierung von Crawlern mit PHP und Selenium vorgestellt und eine Bibliothek bereitgestellt, die automatisch Crawler-Beispiele generiert.
- Einführung in Selenium
Selenium ist ein Tool zum Testen von Webanwendungen, das direkt im Browser ausgeführt werden kann, um Benutzervorgänge wie das Öffnen von Webseiten, Klicken, Tippen usw. zu simulieren. Selenium bietet Treiber in mehreren Sprachen, darunter Java, Python, Ruby, PHP usw., die Sie entsprechend Ihren eigenen Programmiersprachenpräferenzen auswählen können.
- Umgebung und Tools
In der Praxis müssen wir zunächst die folgende Umgebung und Tools konfigurieren:
- PHP 7.x und höher
- Composer-Paketmanager
- Selenium + ChromeDriver oder FirefoxDriver
Zuerst die Installation Die Methode der PHP-Umgebung ist für jedes Betriebssystem unterschiedlich, daher werde ich hier nicht auf Details eingehen. Nach der Installation von PHP müssen wir Composer installieren, einen PHP-Paketmanager, der PHP-Erweiterungen und Klassenbibliotheken schnell installieren kann.
Selenium bietet eine Vielzahl von Treibern, darunter ChromeDriver, FirefoxDriver usw. Hier nehmen wir ChromeDriver als Beispiel. ChromeDriver ist die WebDriver-Implementierung des Chrome-Browsers und entspricht eins zu eins der Browserversion. Installieren Sie zunächst den Chrome-Browser, überprüfen Sie die Chrome-Browserversion und rufen Sie dann die offizielle ChromeDriver-Website auf, um die entsprechende Version des Treibers herunterzuladen.
- Übung: Einen einfachen Crawler implementieren
Nach der Installation der erforderlichen Software können wir mit der Implementierung eines einfachen Crawlers beginnen. Angenommen, wir müssen Produktinformationen auf einer E-Commerce-Plattform crawlen, einschließlich Produktname und Preis. Nehmen Sie Taobao als Beispiel:
Installieren Sie zunächst Selenium und ChromeDriver im cmd oder Terminal:
composer require facebook/webdriver:dev-master
Nach dem Login kopieren
Dann schreiben Sie ein PHP-Skript:
<?php
require_once 'vendor/autoload.php';
use FacebookWebDriverRemoteRemoteWebDriver;
use FacebookWebDriverWebDriverBy;
// 配置ChromeDriver
$host = 'http://localhost:9515';
$capabilities = array(FacebookWebDriverRemoteWebDriverCapabilityType::BROWSER_NAME => 'chrome');
$driver = RemoteWebDriver::create($host, $capabilities);
// 打开网页
$driver->get('https://www.taobao.com');
// 输入搜索关键字
$input = $driver->findElement(WebDriverBy::name('q'));
$input->click();
$input->sendKeys('电视机');
// 点击搜索按钮
$button = $driver->findElement(WebDriverBy::cssSelector('.btn-search'));
$button->click();
// 获取商品名称和价格
$items = $driver->findElements(WebDriverBy::cssSelector('.item'));
foreach ($items as $item) {
$name = $item->findElement(WebDriverBy::cssSelector('.title'))->getText();
$price = $item->findElement(WebDriverBy::cssSelector('.price'))->getText();
echo $name . ' ' . $price . PHP_EOL;
}
// 退出ChromeDriver
$driver->quit();Nach dem Login kopieren
Die Logik dieses Skripts ist sehr einfach. Konfigurieren Sie zuerst ChromeDriver und öffnen Sie die benötigte Webseite gecrawlt werden, und dann die erforderlichen Informationen basierend auf Seitenelementselektoren suchen und verarbeiten.
- Crawler-Beispielbibliothek automatisch generieren
Das Obige ist nur die grundlegendste Crawler-Praxis. Wenn Sie Informationen von anderen Websites crawlen müssen, müssen Sie den Code entsprechend der spezifischen Situation ändern. Gängige E-Commerce-Websites wie Taobao und JD.com verfügen oft bereits über eine bestimmte Seitenstruktur und bestimmte Elemente, sodass Sie versuchen können, den entsprechenden Crawler-Code durch Automatisierung zu generieren.
Da wir automatisch ein Crawler-Beispiel generieren möchten, benötigen wir eine Reihe von Eingaben und Ausgaben, wobei die Eingabe die zu crawlende Website und die Ausgabe der Crawler-Code ist. Daher können wir End-to-End-Lernen verwenden, um die Website und den Crawler-Code mithilfe von Modellen des maschinellen Lernens abzubilden.
Konkret können wir eine große Anzahl von E-Commerce-Websites und entsprechenden Crawler-Codes sammeln, die Websites mit Anmerkungen versehen (die spezifischen Informationen und Elemente markieren, die gecrawlt werden sollen) und dann das neuronale Netzwerkmodell verwenden, um die Daten zu trainieren. Das trainierte Modell kann basierend auf der eingegebenen Website automatisch entsprechenden Crawler-Code generieren.
Bei der automatischen Generierung von Crawler-Beispielen sind viele Fähigkeiten erforderlich, darunter Daten-Crawling, Datenanmerkung, Training neuronaler Netzwerkmodelle usw. Daher können wir die von AI2 Notebook (https://github.com/GuiZhiHuai/AI2) bereitgestellte Plattform nutzen, um es basierend auf unseren eigenen Bedürfnissen und Fähigkeiten zu implementieren.
- Fazit
Dieser Artikel führt in die Einführungspraxis der Implementierung eines einfachen Crawlers mit PHP und Selenium ein und bietet Ideen und Methoden zum automatischen Generieren von Crawler-Beispielen. Wenn Sie sich für Crawler-Entwicklung und KI-Technologie interessieren, können Sie diese in der Praxis eingehend erforschen, und ich glaube, dass es weitere interessante Entdeckungen und Anwendungen geben wird.
Das obige ist der detaillierte Inhalt vonCrawler-Beispiele automatisch generieren: Erste Schritte mit PHP und Selenium. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
