Dieser Artikel stellt hauptsächlich die Lösung des Problems verstümmelter Zeichen in Python-Webcrawlern vor. Er hat einen gewissen Referenzwert.
Es gibt viele Möglichkeiten, das Problem verstümmelter Zeichen zu lösen Verschiedene Probleme im Crawler. Hier gibt es nicht nur verstümmelte chinesische Zeichen, Codierungskonvertierung, sondern auch einige verstümmelte Zeichen wie Japanisch, Koreanisch, Russisch, Tibetisch usw., da die Lösungen dieselben sind und daher hier erläutert werden.
Der Grund, warum der Webcrawler verstümmelten Code anzeigt
Das Codierungsformat der Quellwebseite stimmt nicht mit dem Codierungsformat nach dem Crawlen überein.
Wenn es sich bei der Quellwebseite um einen von GBK codierten Bytestream handelt und das Programm ihn direkt mit utf-8 codiert und in die Speicherdatei ausgibt, führt dies unweigerlich zu verstümmeltem Code, wenn die Quellwebseite angezeigt wird Wenn das Programm die Verarbeitungscodierung direkt verwendet, um konsistent zu sein, gibt es zu diesem Zeitpunkt keine verstümmelten Zeichen. Wenn die Zeichencodierung vereinheitlicht ist, sind keine verstümmelten Zeichen vorhanden
Achten Sie auf die Unterscheidung
Quellnetzwerkcode A,
Code B, der direkt vom Programm verwendet wird,
Code C für eine einheitliche Konvertierung von Zeichen.
Lösung für verstümmelte Zeichen
Bestimmen Sie den Code A der Quellwebseite. Code A befindet sich häufig an drei Stellen auf der Webseite.
1.Inhaltstyp des HTTP-Headers
Die Site, die den Server-Header erhält, kann ihn verwenden, um dem Browser einige Informationen über den Seiteninhalt mitzuteilen. Der Content-Type-Eintrag wird als „text/html; charset=utf-8“ geschrieben.
2.meta charset
3. Dokumentdefinition im Webseiten-Header
<script type="text/javascript">
if(document.charset){
alert(document.charset+"!!!!");
document.charset = 'GBK';
alert(document.charset);
}
else if(document.characterSet){
alert(document.characterSet+"????");
document.characterSet = 'GBK';
alert(document.characterSet);
}Nach dem Login kopieren
Beim Abrufen der Quell-Webseitenkodierung, Beurteilen Sie es der Reihe nach. Diese drei Teile der Daten sind ausreichend, von vorne nach hinten, und das gilt auch für die Prioritäten.
In den oben genannten drei Fällen gibt es keine Codierungsinformationen. Im Allgemeinen werden hierfür intelligente Identifizierungstools für die Webseitencodierung wie Chardet verwendet.
Installation: pip install chardet
Python-Chardet-Zeichenkodierungsbeurteilung
Die Verwendung von Chardet kann die Kodierungserkennung von Zeichenfolgen/Dateien leicht realisieren. Obwohl HTML-Seiten Zeichensatz-Tags haben, sind diese manchmal falsch. Dann kann Chardet uns sehr helfen.
Chardet-Instanz
import urllib
rawdata = urllib.urlopen('http://www.php.cn/').read()
import chardet
chardet.detect(rawdata)
{'confidence': 0.99, 'encoding': 'GB2312'}Nach dem Login kopieren
Chardet kann die Erkennungsfunktion direkt verwenden, um die Codierung des angegebenen Zeichens zu erkennen. Der Rückgabewert der Funktion ist ein Wörterbuch mit zwei Elementen, eines ist die Erkennungsglaubwürdigkeit und das andere ist die erkannte Codierung.
Wie geht man bei der Entwicklung eines eigenen Crawlers mit der Codierung chinesischer Zeichen um?
Das Folgende gilt für Python2.7. Wenn es nicht verarbeitet wird, werden die gesammelten Daten verstümmelt ist Verarbeiten Sie HTML in eine einheitliche UTF-8-Codierung und stoßen Sie auf die Windows-1252-Codierung, die zum noch nicht abgeschlossenen Chardet-Codierungserkennungstraining gehört
import chardet
a='abc'
type(a)
str
chardet.detect(a)
{'confidence': 1.0, 'encoding': 'ascii'}
a ="我"
chardet.detect(a)
{'confidence': 0.73, 'encoding': 'windows-1252'}
a.decode('windows-1252')
u'\xe6\u02c6\u2018'
chardet.detect(a.decode('windows-1252').encode('utf-8'))
type(a.decode('windows-1252'))
unicode
type(a.decode('windows-1252').encode('utf-8'))
str
chardet.detect(a.decode('windows-1252').encode('utf-8'))
{'confidence': 0.87625, 'encoding': 'utf-8'}
a ="我是中国人"
type(a)
str
{'confidence': 0.9690625, 'encoding': 'utf-8'}
chardet.detect(a)
# -*- coding:utf-8 -*-
import chardet
import urllib2
#抓取网页html
html = urllib2.urlopen('http://www.jb51.net/').read()
print html
mychar=chardet.detect(html)
print mychar
bianma=mychar['encoding']
if bianma == 'utf-8' or bianma == 'UTF-8':
html=html.decode('utf-8','ignore').encode('utf-8')
else:
html =html.decode('gb2312','ignore').encode('utf-8')
print html
print chardet.detect(html)Nach dem Login kopieren
Python-Code Die Kodierung der Datei
Py-Datei ist standardmäßig ASCII-Kodierung. Wenn Chinesisch angezeigt wird, wird sie von ASCII in die Standardkodierung des Systems konvertiert. Zu diesem Zeitpunkt tritt ein Fehler auf: SyntaxError: Non -ASCII-Zeichen. Kodierungsanweisungen müssen in die erste Zeile der Codedatei eingefügt werden:
# -*- coding:utf-8 -*-
print '中文'
Nach dem Login kopieren
Die wie oben direkt eingegebene Zeichenfolge wird entsprechend kodiert Codedatei 'utf-8' zur Verarbeitung
Wenn Unicode-Kodierung verwendet wird, wird die folgende Methode verwendet:
s1 = u'Chinesisch' #u bedeutet, Informationen in Unicode-Kodierung zu speichern
decode ist eine Methode, mit der jede Zeichenfolge in das Unicode-Format konvertiert werden muss. Der Parameter gibt das Codierungsformat der Quellzeichenfolge an.
encode ist auch eine Methode, die jeder String hat und die den String in das durch den Parameter angegebene Format konvertiert.
Das Obige ist der gesamte Inhalt dieses Artikels. Ich hoffe, dass er zum Lernen aller beiträgt. Ich hoffe auch, dass jeder die PHP-Chinesisch-Website unterstützt.
Weitere verwandte Artikel zur Lösung des Problems verstümmelter Zeichen in Python-Webcrawlern finden Sie auf der chinesischen PHP-Website!
