Einführung in die Art und Weise, wie Python3 das Requests-Paket zum Erfassen und Speichern von Webseiten-Quellcode verwendet

高洛峰
Freigeben: 2017-03-07 15:50:19
Original
2402 Leute haben es durchsucht

Das Beispiel in diesem Artikel beschreibt, wie Python3 das Requests-Paket verwendet, um den Quellcode einer Webseite abzurufen und zu speichern. Teilen Sie es als Referenz mit allen. Die Details lauten wie folgt:

Verwenden Sie das Anforderungsmodul von Python 3, um den Quellcode der Webseite abzurufen und ihn in einer Datei zu speichern. Beispiel:

import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
 f.write(html.text)
Nach dem Login kopieren

Dies ist ein grundlegender Vorgang zum Speichern von Dateien, es gibt jedoch einige zu beachtende Probleme:

1. Installieren Sie das Anforderungspaket fordert in der Befehlszeile an, es automatisch zu installieren. Viele Leute empfehlen die Verwendung von Anfragen. Die integrierte urllib.request kann auch den Quellcode einer Webseite erfassen

2. Stellen Sie den Codierungsparameter der offenen Methode auf utf-8 ein, andernfalls wird die gespeicherte Datei verstümmelt.

3. Wenn Sie den erfassten Inhalt direkt in cmd ausgeben, werden verschiedene Codierungsfehler angezeigt. Speichern Sie ihn daher zur Anzeige in einer Datei.

4. Die with open-Methode ist eine bessere Schreibweise, die nach Abschluss des Vorgangs automatisch Ressourcen freigeben kann.

Ein weiteres Beispiel:

import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
 for line in f:
 ff.write(line)
ff.close()
Nach dem Login kopieren

Dies ist eine Demonstration, wie eine TXT-Datei Zeile für Zeile gelesen und gespeichert wird ein weiteres Beispiel in einer txt-Datei.

Da beim Drucken der Daten Zeile für Zeile in der Befehlszeile gelesen wird, treten auf Chinesisch Codierungsfehler auf. Lesen Sie daher jeweils eine Zeile und speichern Sie sie in einer anderen Datei, um zu testen, ob die Lesung normal ist. (Beachten Sie, dass die Codierungsmethode beim Öffnen angegeben wird)

Weitere Informationen darüber, wie Python3 das Anforderungspaket zum Erfassen und Speichern des Quellcodes von Webseiten verwendet, finden Sie auf der chinesischen PHP-Website für verwandte Artikel!

Verwandte Etiketten:
Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage