PHP-Crawler-Praxis: MOOC-Kursinformationen crawlen

Mit der Entwicklung des Internets hat die Crawler-Technologie eine immer wichtigere Rolle in der modernen Datenerfassung, Datenanalyse und Geschäftsentscheidungsfindung gespielt. Wenn Sie den Umgang mit der Crawler-Technologie erlernen, wird sich die Effizienz und Genauigkeit unserer Datenverarbeitung erheblich verbessern. In diesem Artikel werden wir PHP verwenden, um einen Crawler zum Crawlen von Kursinformationen auf MOOC zu schreiben.

Die in diesem Artikel verwendeten Tools sind wie folgt:

• PHP-Programmiersprache, Version ist PHP 7.0
• Die Drittanbieter-Bibliothek Guzzle HTTP Client, die zum Senden von HTTP-Anfragen und Empfangen von HTTP-Antworten verwendet wird
• Ein einfaches MySQL-Datenbank zum Speichern unserer erfassten Kursinformationen

1. Vorbereitung

Zunächst müssen wir die PHP 7.0-Version in der lokalen Umgebung installieren.

Guzzle HTTP Client ist eine häufig verwendete HTTP-Client-Tool-Bibliothek. Wir können Composer verwenden, um sie zu installieren. Wechseln Sie in der Befehlszeile in ein leeres Verzeichnis, erstellen Sie dann eine neue Datei „composer.json“ und fügen Sie den folgenden Inhalt hinzu:

{

"require": {
    "guzzlehttp/guzzle": "^6.3"
}

}

Führen Sie dann die Composer-Installation im selben Verzeichnis aus und warten Sie, bis die Ausführung abgeschlossen ist Der Guzzle HTTP-Client wurde erfolgreich installiert.

2. Analysieren Sie die Struktur der Zielwebsite

Bevor wir mit dem Schreiben von Code beginnen, müssen wir die Struktur der Zielwebsite analysieren. Wir haben uns für den Python-Kurs auf MOOC.com (www.imooc.com) entschieden. Zu den Informationen, die wir erfassen müssen, gehören Kursname, Kursnummer, Kursschwierigkeit, Kursdauer und Kurslink.

Nachdem wir die Zielwebsite geöffnet und bestimmte Vorgänge ausgeführt haben (z. B. die Suche nach „Python“-Kursen), können wir den von der Website zurückgegebenen Antwortinhalt anzeigen. Wir können die Entwicklungstools des Browsers verwenden, um den Antwortinhalt und die Webseitenstruktur anzuzeigen.

Wir können sehen, dass die Liste der Python-Kurse auf MOOC dynamisch über AJAX geladen wird. Um das Crawlen von Daten zu erleichtern, können wir die URL und Parameter der AJAX-Anfrage direkt nachschlagen und dann unsere eigene HTTP-Anfrage erstellen, um die Daten abzurufen.

Anhand der XHR-Anfrage der Zielwebsite können wir feststellen, dass die tatsächlich angeforderte URL für den Python-Kurs http://www.imooc.com/course/AjaxCourseMore?&page=1 lautet.

Die Seite im Anforderungsparameter gibt die Seitennummer an, auf die gerade zugegriffen wird. Wir können über die HTTP-GET-Methode eine Anfrage an die URL senden und diese basierend auf den zurückgegebenen Ergebnissen analysieren.

3. Schreiben Sie ein Crawler-Programm

Im vorherigen Schritt haben wir die Listen-URL der Python-Kurse der Zielwebsite erhalten. Jetzt müssen wir nur noch PHP-Code schreiben, den Guzzle HTTP-Client verwenden, um HTTP-Anfragen zu senden Analysieren Sie die Ergebnisse und geben Sie sie zurück.

Zuerst müssen wir die Guzzle HTTP Client-Bibliothek vorstellen. Fügen Sie den folgenden Code oben in der PHP-Datei hinzu:

require 'vendor/autoload.php';

Dann erstellen Sie ein Guzzle-HTTP-Client-Objekt:

$client = new GuzzleHttpClient(); das Objekt HTTP-Anfrage senden:

$response = $client->request('GET', 'http://www.imooc.com/course/AjaxCourseMore?&page=1');

Im obigen Code Wir haben die Methode request() des Guzzle-HTTP-Client-Objekts verwendet, um anzugeben, dass die Anforderungsmethode GET ist und die angeforderte URL die URL ist, die wir im vorherigen Schritt erhalten haben.

Schließlich müssen wir die benötigten Kursinformationen aus der HTTP-Antwort abrufen. Durch die Untersuchung des Antwortinhalts können wir erkennen, dass die Kursinformationen in einem HTML-Tag mit dem Klassenattribut course-card-container enthalten sind.

Wir können die DOMDocument-Klasse von PHP verwenden, um HTML-Tags zu durchlaufen und die Tags zu analysieren, die die Bedingungen erfüllen.

Die endgültige Code-Implementierung ist wie folgt:

require 'vendor/autoload.php';

use GuzzleHttpClient;

$client = new Client([

'base_uri' => 'http://www.imooc.com'

]);

$response = $client-> ;request ('GET', '/course/AjaxCourseMore?&page=1');

if ($response->getStatusCode() == 200) {

$dom = new DOMDocument();
@$dom->loadHTML($response->getBody());

$xpath = new DOMXPath($dom);

$items = $xpath->query("//div[@class='course-card-container']");

foreach ($items as $item) {
    $courseName = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->textContent);
    $courseId = trim($xpath->query(".//div[@class='clearfix']/a[@class='course-card'], $item)->item(0)->getAttribute('href'));
    $courseDifficulty = trim($xpath->query(".//p[@class='course-card-desc']", $item)->item(0)->textContent);
    $courseDuration = trim($xpath->query(".//div[@class='course-card-info']/span[@class='course-card-time']", $item)->item(0)->textContent);
    $courseLink = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->getAttribute('href'));

    // 将抓取到的数据存储到MySQL数据库中
    // ...

    echo "课程名称：" . $courseName . "

";

    echo "课程编号：" . $courseId . "

";

    echo "课程难度：" . $courseDifficulty . "

" ;

    echo "课程时长：" . $courseDuration . "

";

    echo "课程链接：" . $courseLink . "

}

Wir verwenden DOMDocument, um den HTML-Antwortinhalt zu lesen und verwenden DOMXPath, um die Tags zu durchlaufen.

4 Die Daten.

Jetzt haben wir die Informationen des Python-Kurses erfolgreich erfasst und auf dem Bildschirm gedruckt. Das Drucken der Daten auf dem Bildschirm ist jedoch nicht praktikabel, wir müssen die Daten in der Datenbank speichern

hat eine Tabelle zum Speichern von Informationen zu Python-Kursen erstellt. Die Tabellenstruktur ist wie folgt:

CREATE TABLE

)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Im Code verwenden wir PDO, um eine Verbindung zur MySQL-Datenbank herzustellen und zu verwenden Prepare( )-Methode und Execute()-Methode zum Durchführen des Einfügevorgangs. Der endgültige Code lautet wie folgt: python_courses (
id int(11) unsigned NOT NULL AUTO_INCREMENT,
course_name varchar(255) NOT NULL DEFAULT '',
course_id varchar(255) NOT NULL DEFAULT '',
course_difficulty varchar(255) NOT NULL DEFAULT '',
course_duration varchar(255) NOT NULL DEFAULT '',
course_link varchar(255) NOT NULL DEFAULT '',
PRIMARY KEY (id
require 'vendor/autoload.php';

use GuzzleHttpClient;

$client = new Client([

}

]);

$ Response = $client->request('GET', '/course/AjaxCourseMore?&page=1');

if ($response->getStatusCode() == 200) {

$dom = new DOMDocument();
@$dom->loadHTML($response->getBody());

$xpath = new DOMXPath($dom);

$items = $xpath->query("//div[@class='course-card-container']");

$dsn = 'mysql:host=localhost;dbname=test';
$username = 'root';
$password = '';
$pdo = new PDO($dsn, $username, $password, [PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION]);

$stmt = $pdo->prepare("INSERT INTO `python_courses` (`course_name`, `course_id`, `course_difficulty`, `course_duration`, `course_link`) VALUES (:course_name, :course_id, :course_difficulty, :course_duration, :course_link)");
foreach ($items as $item) {
    $courseName = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->textContent);
    $courseId = trim($xpath->query(".//div[@class='clearfix']/a[@class='course-card']", $item)->item(0)->getAttribute('href'));
    $courseDifficulty = trim($xpath->query(".//p[@class='course-card-desc']", $item)->item(0)->textContent);
    $courseDuration = trim($xpath->query(".//div[@class='course-card-info']/span[@class='course-card-time']", $item)->item(0)->textContent);
    $courseLink = trim($xpath->query(".//h3[@class='course-card-name']/a", $item)->item(0)->getAttribute('href'));

    $stmt->bindParam(':course_name', $courseName);
    $stmt->bindParam(':course_id', $courseId);
    $stmt->bindParam(':course_difficulty', $courseDifficulty);
    $stmt->bindParam(':course_duration', $courseDuration);
    $stmt->bindParam(':course_link', $courseLink);
    $stmt->execute();
}

}

现在，我们已经成功的构建了一个简单的PHP爬虫，用于抓取慕课网上的Python课程信息。经过这个例子的介绍，你应该可以使用PHP编写你自己的爬虫程序，并获取到你需要的数据了。

Das obige ist der detaillierte Inhalt vonPHP-Crawler-Praxis: MOOC-Kursinformationen crawlen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!