Heim > Java > javaLernprogramm > Hauptteil

Verwenden Sie java.nio.charset.CharsetDecoder, um Zeichensatzmethoden automatisch zu identifizieren

高洛峰
Freigeben: 2017-03-12 09:43:23
Original
2305 Leute haben es durchsucht

In diesem Artikelwird vorgestelltdie Verwendung von java.nio.charset.CharsetDecoder zur automatischen Identifizierung der Zeichensatz-Methode

erforscht die Methoden, die kann im Internet verwendet werden. Der effektivste Weg, Zeichensätze automatisch zu identifizieren, ist die Verwendung der -Klassenbibliothek jchardet eines Drittanbieters. Es gibt auch cpdetector, der tatsächlich jchardet verwendet. Ich habe zufällig entdeckt, dass der java.nio.charset.CharsetDecoder von jdk zur Identifizierung von Zeichensätzen verwendet werden kann.

1. Prinzip

Im Allgemeinen werden zwei Methoden verwendet, um InputStreamReader zu erstellen:

InputStreamReader reader = new InputStreamReader(in, charsetName);
Nach dem Login kopieren

oder

InputStreamReader reader = new InputStreamReader(in, charset);
Nach dem Login kopieren

Wenn der Zeichensatz nicht übereinstimmt, werden verstümmelte Zeichen ausgegeben.

Es gibt auch eine Konstruktionsmethode, bei der CharsetDecoder verwendet wird:

CharsetDecoder cd = charset.newDecoder();
InputStreamReader reader = new InputStreamReader(in, cd);
Nach dem Login kopieren

Wenn zu diesem Zeitpunkt keine Übereinstimmung vorliegt, löst eine Ausnahme aus :

java.nio.charset.MalformedInputException: Input length = 1
    at java.nio.charset.CoderResult.throwException(CoderResult.java:277)
    at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:338)
    at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:177)
        ....
Nach dem Login kopieren

Auf diese Weise kann es zur Zeichensatzerkennung verwendet werden.

2. Verwendung von AutoCharsetReader

AutoCharsetReader ist eine Klasse, die auf den oben genannten Prinzipien basiert und von erbt 🎜>Reader kann als charsetadaptiver InputStreamReader angesehen werden.

AutoCharsetReader ar= new AutoCharsetReader(in);char c = ar.read();
...char[] cbuf = new char[2000];
ar.read(cbuf);
...
BufferedReader br = new BufferedReader(ar);
br.readLine();
...
Nach dem Login kopieren

Ein weiteres Beispiel ist Lucenes TextField, das einen Volltext-

-Index erstellt, der einen Reader-Parameter erfordert direkt:

Field field = new TextField("content", new AutoCharsetReader(file));
Nach dem Login kopieren

Nachdem Sie die Datei gelesen haben, können Sie den Zeichensatz der Datei abrufen. Beachten Sie, dass dies nach dem Lesen geschieht.

Charset charset = ar.charset();
Nach dem Login kopieren

3. Alternativer Zeichensatz

Aufgrund der Verwendung mehrerer versucht, den Zeichensatz zu finalisieren, daher müssen Alternativen bereitgestellt werden. Die vom aktuellen Code bereitgestellten standardmäßigen alternativen Zeichensätze lauten wie folgt:

    private final static String[] _defaultCharsets = {        
            "US-ASCII",            "UTF-8",            "GB2312", 
            "BIG5",            "GBK",            "GB18030",                
            "UTF-16BE", 
            "UTF-16LE", 
            "UTF-16",            "UNICODE"};
Nach dem Login kopieren

Es werden auch Methoden zum Ändern des alternativen Zeichensatzes bereitgestellt. Beispiel:

AutoCharsetReader ar = new AutoCharsetReader(in).setCharset("ascii", "utf-8", "gbk");
Nach dem Login kopieren

Die Reihenfolge wirkt sich auf die Erkennungsergebnisse aus. Wenn beispielsweise GBK vor GB2312 liegt, kann das Erkennungsergebnis nur GBK und nicht GB2312 sein, da GBK GB2312 enthält.

4. Nur zur Zeichensatzerkennung

kann nur zur Zeichensatzerkennung verwendet werden:

charset = AutoCharsetReader.quickDetect(file.toURI().toURL(), charsets);
or:
charset = AutoCharsetReader.deepDetect(file.toURI().toURL(), charsets, stops);
Nach dem Login kopieren

quickDetect liest nur ein Zeichen und ist für Dateien mit einem einzelnen Zeichensatz geeignet. Bei HTML müssen Sie möglicherweise alles lesen, um den Zeichensatz zu kennen. Verwenden Sie daher deepDetect. Der Parameter

charsets kann null sein.

Wenn für einen Satz von Dateien die bekannten möglichen Zeichensätze „ascii“, „utf-8“, „gb2312“ und „gbk“ sind, wird erkannt, dass der Zeichensatz einer Datei ist B. „utf-8“ oder „gbk“, kann das Ergebnis sofort zurückgegeben werden, ohne dass die Datei weiter gelesen werden muss. Zu diesem Zeitpunkt können Sie den Parameter

stops {"utf-8", "gbk"} zuweisen. Wenn es null ist, müssen Sie alles lesen.

5. Andere

Um die Effizienz zu verbessern, gibt es in dieser Klasse keinen Puffer Ich muss io noch einmal lesen. Die Standardpuffergröße ist 8192. Sie können die

Puffergröße beim Erstellen des Objekts selbst definieren. Wenn der Parameter kleiner als 16 ist, setzen Sie ihn auf 16.


Das obige ist der detaillierte Inhalt vonVerwenden Sie java.nio.charset.CharsetDecoder, um Zeichensatzmethoden automatisch zu identifizieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Verwandte Etiketten:
Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!