首頁 > 後端開發 > C#.Net教程 > 關於.NET(C#)正確讀取中文編碼檔案的實例教程

關於.NET(C#)正確讀取中文編碼檔案的實例教程

Y2J
發布: 2017-04-24 16:56:05
原創
2170 人瀏覽過

首先如果讀者對編碼或BOM還不熟悉的話,推薦先讀這篇文章:.NET(C#):字元編碼(Encoding)和位元組順序標記(BOM)。
中文編碼基本上可以分成兩大類:
1. ANSI編碼的擴充集合:例如GBK, GB2312, GB18030等,這類編碼都不存在BOM(一些更新的標準中文編碼,例如GB18030和GBK編碼,都向後相容GB2312編碼)。
2. Unicode編碼集合:如UTF-8, UTF-16, UTF-32等。這類編碼可以有BOM,也可以不加BOM。
3. 部分Unicode編碼還存在具體字節次序問題(Endianess),就是所謂的Little endian和Big endian之分,不同此節次序對於不同的BOM,比如UTF16,不過UTF8不存在字節次序問題。

OK,了解了基本知識後,讓我們回到主題,該如何正確開啟中文文字檔案。第一個需要確認的訊息是:你的Unicode編碼檔案是否包含BOM?

如果包含BOM的話,那麼一切好說!因為如果我們發現了BOM,我們就知道他的具體編碼了。如果沒有發現BOM,那就不是Unicode,我們用系統預設的ANSI擴充中文編碼集打開文字檔就OK了。
而如果Unicode編碼沒有BOM的話(顯然,你不能保證用戶給你的所有Unicode檔案都是有BOM的),那麼你要手動從原始位元組中判斷他是GBK?還是UTF8?還是其他編碼? 。這就需要具體的編碼覺察演算法了(可以google “charset|encoding detection”), 當然編碼覺察演算法不一定會100%準確,正是因為這點,Windows記事本會有Bush hid the facts bug。在Chrome瀏覽網頁時,也會遇到亂碼的狀況的。個人感覺,Notepad++的編碼覺察做的還是很準確的。
編碼覺察演算法很多,例如這個工程:https://code.google.com/p/ude

 
如果Unicode都帶BOM的話,則不需要第三方類別庫了。不過也有一些需要說明的地方。

問題就是.NET中讀取文字方法(File類別和StreamReader)預設是以UTF8編碼來讀取的,因此此類GBK的文字檔案直接用.NET開啟(不指定編碼的話)結果肯定是亂碼!

首先這裡最有效地解決方案是使用系統預設的ANSI擴展編碼,也就是系統預設的非Unicode編碼來讀取文本,參考代碼:

//输出系统默认非Unicode编码Console.WriteLine(Encoding.Default.EncodingName);//使用系统默认非Unicode编码来打开文件var fileContent = File.ReadAllText("C:\test.txt", Encoding.Default);
登入後複製

在簡體中文的Windows系統下應該輸出:

簡體中文(GB2312)<文字內容省略>...

而且使用這個方法其實是不限於簡體中文的。

當然也可以手動去指定一個編碼,例如就是GBK編碼,但是如果用指定的GBK編碼去打開一個Unicode文件,文件還會打開成功嗎?答案是仍然成功。原因是.NET在開啟文件時預設會自動覺察BOM然後用根據BOM得到的編碼去開啟文件,如果沒有BOM再用使用者指定的編碼區開啟文件,如果使用者沒有指定編碼,則使用UTF8編碼。

這個」自動覺察BOM「的參數可以在StreamReader中建構函式中設置,對應detectEncodingFromByteOrderMarks參數。

但是在File類別的對應方法中無法設定。 (例如:File.ReadAllText)。

例如下面程式碼,分別用:

GB2312編碼,自動覺察BOM 來讀取GB2312文字

GB2312編碼,自動覺察BOM 來讀取Unicode文字

GB2312編碼,不覺察BOM 來讀取Unicode文字

static void Main(){    var gb2312 = Encoding.GetEncoding("GB2312");    //用GB2312编码,自动觉察BOM 来读取GB2312文本    ReadFile("gbk.txt", gb2312, true);    //用GB2312编码,自动觉察BOM 来读取Unicode文本    ReadFile("unicode.txt", gb2312, true);    //用GB2312编码,不觉察BOM 来读取Unicode文本    ReadFile("unicode.txt", gb2312, false);}//通过StreamReader读取文本 static void ReadFile(string path, Encoding enc, bool detectEncodingFromByteOrderMarks){    StreamReader sr;    using (sr = new StreamReader(path, enc, detectEncodingFromByteOrderMarks))    {        Console.WriteLine(sr.ReadToEnd());    }}
登入後複製

輸出:

a刘a刘???
登入後複製

第三行是亂碼。

看到上面,使用GB2312編碼去開啟Unicode檔案也會成功的。因為「自動覺察BOM」參數為True,所以當發現該文件有BOM,.NET會透過BOM覺察到是Unicode文件,然後用Unicode去開啟文件的。當然如果沒有BOM,會使用指定的編碼參數去開啟檔案。對於GB2312編碼的文本,顯然是沒有BOM的,所以必須指定GB2312編碼,否則.NET會用預設的UTF8編碼去解析文件,是無法讀取結果的。第三行出現亂碼則是由於「自動覺察BOM」為False,.NET會直接用指定的GB2312編碼去讀取一個有BOM的Unicode編碼文字文件,顯然無法成功的。

當然還可以自己判斷BOM,如果沒有BOM的話,指定一個預設編碼去開啟文字。我在以前一篇文章中寫過(.NET(C#):從文件中覺察編碼)。

代碼:

static void Main(){    PrintText("gb2312.txt");    PrintText("unicode.txt");}//根据文件自动觉察编码并输出内容static void PrintText(string path){    var enc = GetEncoding(path, Encoding.GetEncoding("GB2312"));    using (var sr = new StreamReader(path, enc))    {        Console.WriteLine(sr.ReadToEnd());    }}/// <summary>/// 根据文件尝试返回字符编码/// </summary>/// <param name="file">文件路径</param>/// <param name="defEnc">没有BOM返回的默认编码</param>/// <returns>如果文件无法读取,返回null。否则,返回根据BOM判断的编码或者缺省编码(没有BOM)。</returns>static Encoding GetEncoding(string file, Encoding defEnc){    using (var stream = File.OpenRead(file))    {        //判断流可读?        if (!stream.CanRead)            return null;        //字节数组存储BOM        var bom = new byte[4];        //实际读入的长度        int readc;        readc = stream.Read(bom, 0, 4);        if (readc >= 2)        {            if (readc >= 4)            {                //UTF32,Big-Endian                if (CheckBytes(bom, 4, 0x00, 0x00, 0xFE, 0xFF))                    return new UTF32Encoding(true, true);                //UTF32,Little-Endian                if (CheckBytes(bom, 4, 0xFF, 0xFE, 0x00, 0x00))                    return new UTF32Encoding(false, true);            }            //UTF8            if (readc >= 3 && CheckBytes(bom, 3, 0xEF, 0xBB, 0xBF))                return new UTF8Encoding(true);            //UTF16,Big-Endian            if (CheckBytes(bom, 2, 0xFE, 0xFF))                return new UnicodeEncoding(true, true);            //UTF16,Little-Endian            if (CheckBytes(bom, 2, 0xFF, 0xFE))                return new UnicodeEncoding(false, true);        }        return defEnc;    }}//辅助函数,判断字节中的值static bool CheckBytes(byte[] bytes, int count, params int[] values){    for (int i = 0; i < count; i++)        if (bytes[i] != values[i])            return false;    return true;}
登入後複製

上面程式碼,對於Unicode文本,GetEncoding方法會傳回UTF16編碼(更具體:還會根據BOM傳回Big或Little-Endian的UTF16編碼),而沒有BOM的檔案則會傳回預設值GB2312編碼。

Related Posts:

.NET(C#):從檔案中覺察編碼

.NET(C#):字元編碼(Encoding)和位元組順序標記(BOM )

.NET(C#):使用System.Text.Decoder類別來處理「流程文字」

.NET(C#):淺談組件清單資源與RESX資源

以上是關於.NET(C#)正確讀取中文編碼檔案的實例教程的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板