如何在Python中正确读写Unicode（UTF-8）文件？

Python 中的 Unicode (UTF-8) 文件 I/O

在 Python 中，处理文件中的 Unicode 文本涉及编码和解码操作。然而，理解这些概念可能具有挑战性，如一个常见问题所示：

解码混乱：

考虑 Python 2.4 中的以下代码：

<code class="python">ss = u'Capit\xe1n'
ss8 = ss.encode('utf8')
print(ss, ss8)</code>

此代码输出：

Capit\xe1n b'Capit\xc3\xa1n'

a 锐音字符 (á) 在 Unicode (u'Capitxe1n') 和 UTF-8 (ss8 = 'Capitxc3xa1n') 中的表示方式不同。打印 ss8 时，Python 默认使用 ASCII 表示形式，因此是 xc3xa1n 序列。

以写入模式打开文件“f1”并向其中写入 ss8 会导致“Capitxc3xa1nn”写入该文件。相反，当将 ss 写入另一个文件“f2”时，Python 会尝试将 a-acute 字符解释为转义序列，结果是“Capitxc3xa1nn”。

解码解决方案：

要解决此混乱，请在打开文件时显式指定编码。在 Python 2.6 及更高版本中，可以使用 io.open 函数：

<code class="python">import io
f = io.open("test", mode="r", encoding="utf-8")</code>

这种方法可以确保文件以 UTF-8 方式读写，无需手动编码和解码。在Python 3.x中，io.open函数是内置open函数的别名，它也支持encoding参数。

或者，可以使用codecs模块：

<code class="python">import codecs
f = codecs.open("test", "r", "utf-8")</code>

需要注意的是，混合使用 read() 和 readline() 方法可能会在使用codecs.open 时导致问题。

以上是如何在Python中正确读写Unicode（UTF-8）文件？的详细内容。更多信息请关注PHP中文网其他相关文章！