So erhalten Sie den Quellcode einer Webseite und konvertieren die Codierung in PHP

In der Welt des Internets sind Crawler und Datenerfassung weit verbreitete Anforderungen. Allerdings ist das, was wir erhalten, oft nicht das Ergebnis, das wir erwarten, und einer der Gründe dafür sind Kodierungsprobleme. Wie erhalte ich den Quellcode einer Webseite korrekt und führe eine Codierungskonvertierung durch?

Es gibt viele Möglichkeiten, den Quellcode einer Webseite in PHP abzurufen, z. B. file_get_contents(), Curl usw. Als Beispiel wählen wir hier file_get_contents().

Zuerst müssen wir das Codierungsformat der Website bestimmen. Wenn wir die Kodierung nicht spezifisch angeben, stellt PHP die Zeichenkodierung standardmäßig auf ISO-8859-1 ein. Daher müssen wir den erhaltenen Webseiten-Quellcode standardmäßig von ISO-8859-1 in das von uns benötigte Kodierungsformat konvertieren . . Das Folgende ist ein einfaches Beispiel:

$url = "https://www.example.com";
$html = file_get_contents($url);
$html = mb_convert_encoding($html, "UTF-8", "ISO-8859-1");
echo $html;

Darunter ist $url die Website-URL, die abgerufen werden muss, und $html ist der abgerufene Quellcode der Webseite. Um $html in das Codierungsformat zu konvertieren, wird die Funktion mb_convert_encoding() verwendet. Unter ihren Parametern ist der erste die zu konvertierende Zeichenfolge, der zweite das zu konvertierende Zielcodierungsformat und der dritte das Original Kodierung. Hier konvertieren wir es in die UTF-8-Kodierung.

In der tatsächlichen Entwicklung stoßen wir möglicherweise auf komplexere Codierungsformate wie GBK, BIG5 usw. In diesem Fall müssen wir entsprechend der tatsächlichen Situation damit umgehen. Das Codierungsformat kann durch die Suche nach Zeichensätzen in HTML ermittelt werden, zum Beispiel:

<meta charset="gbk">

Wenn das Codierungsformat unsicher ist, können wir die Funktion mb_detect_encoding() in der PHP-Bibliothek zur automatischen Identifizierung verwenden. Beispiel:

$url = "https://www.example.com";
$html = file_get_contents($url);
$charset = mb_detect_encoding($html, "UTF-8, GBK, BIG5, ISO-8859-1");
$html = mb_convert_encoding($html, "UTF-8", $charset);
echo $html;

Darunter stellt $charset das automatisch erkannte Codierungsformat dar und konvertiert es in das UTF-8-Format, um das Ergebnis auszugeben.

Natürlich müssen wir in der tatsächlichen Entwicklung noch viele Details berücksichtigen, wie z. B. das Zeitlimit für die Netzwerkverbindung, die Beurteilung des HTTP-Statuscodes, Sonderzeichen im Text usw. Dieser Artikel hat Ihnen jedoch eine grundlegende Idee und Methode vermittelt und mehrere chinesische Kodierungskonvertierungsmethoden kurz demonstriert. Ich glaube, dass die Leser hier entsprechend ihren tatsächlichen Bedürfnissen arbeiten können.

Das obige ist der detaillierte Inhalt vonSo erhalten Sie den Quellcode einer Webseite und konvertieren die Codierung in PHP. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!