当前位置：首页 > article >正文

Python 2 和 Python 3 在字符串编码上的差异

article 2025/2/24 19:39:15

Python 2

存在两种不同的字符串类型，分别是 str 类型和 unicode 类型

str 类型：
实际上存储的是字节序列（bytes sequence），而不是真正的文本字符
这些字节序列可以通过特定的编码规则来解释为文本
定义一个普通的字符串字面量时，它就是 str 类型

# -*- coding: utf-8 -*-
s = '你好'  # str 类型，字节序列
print type(s) # <type 'str'>

字符串 s 是 str 类型，如果文件编码为 UTF - 8，那么 s 实际上存储的是 “你好” 这两个中文字符按照 UTF - 8 编码后的字节序列
在 UTF - 8 编码中，“你” 对应的字节是 \xe4\xbd\xa0，“好” 对应的字节是 \xe5\xa5\xbd
所以 s 存储的就是 ‘\xe4\xbd\xa0\xe5\xa5\xbd’ 这样的字节序列

unicode 类型：
存储的是真正的文本数据
unicode 类型存储的是真正的文本数据，也就是 Unicode 码点（code point）
Unicode 是一种字符集，它为世界上几乎所有的字符都分配了一个唯一的数字编号（码点）
unicode 类型的字符串就是由这些码点组成的

# -*- coding: utf-8 -*-
u = u'你好'
print(type(u))  # 输出 <type 'unicode'>

字符串 u 是 unicode 类型，它存储的是 “你” 和 “好” 这两个字符对应的 Unicode 码点
“你” 的 Unicode 码点是 U+4F60，“好” 的 Unicode 码点是 U+597D
u 内部存储的就是这些码点信息，不依赖于具体的编码方式

# -*- coding: utf-8 -*-
s = '你好'  # str 类型，字节序列
u = u'你好'  # unicode 类型，文本数据
print type(s) # <type 'str'>
print type(u) # <type 'unicode'>

# -*- coding: utf-8 -*-
# str 类型转 unicode 类型（解码）
s = '你好'
u = s.decode('utf-8')
print(type(u))  # 输出 <type 'unicode'>

# unicode 类型转 str 类型（编码）
new_s = u.encode('utf-8')
print(type(new_s))  # 输出 <type 'str'>

decode 方法将 str 类型的字节序列按照指定的编码（这里是 UTF - 8）解码为 unicode 类型的字符串
encode 方法则将 unicode 类型的字符串按照指定的编码编码为 str 类型的字节序列

Python 3 - 统一了字符串类型

只有 str 类型用于表示文本数据，它存储的是 Unicode 字符
同时引入了 bytes 类型来表示二进制数据

s = '你好'  # str 类型，存储的是 unicode 字符
u = u'你好'  # str 类型，存储的是 unicode 字符
b = b'hello'  # bytes 类型，二进制数据
print(type(s)) # <class 'str'>
print(type(u)) # <class 'str'>
print(type(b)) # <class 'bytes'>

Python 3 中字符串编码/解码操作

编码（encode() 方法）

编码是将 str 类型的字符串转换为 bytes 类型的二进制数据，需要指定编码方式

s = '你好'
# 使用 UTF-8 编码
b = s.encode('utf-8')
print(b) # b'\xe4\xbd\xa0\xe5\xa5\xbd'

print(type(s)) # <class 'str'>
print(type(b)) # <class 'bytes'>

解码（decode() 方法）

解码是将 bytes 类型的二进制数据转换为 str 类型的字符串，同样需要指定编码方式
该编码方式要和编码时使用的一致，否则可能会出现解码错误。

b = b'\xe4\xbd\xa0\xe5\xa5\xbd'
# 使用 UTF-8 解码
s = b.decode('utf-8')
print(s)

常见编码方式

ASCII：是最早的字符编码标准，使用 7 位二进制数来表示 128 个字符，主要用于表示英文字母、数字和一些标点符号等，只能处理英文等有限字符，无法表示中文等其他语言的字符。
UTF - 8：是一种可变长度的 Unicode 编码，它可以使用 1 - 4 个字节来表示一个字符，对于 ASCII 字符，只需要 1 个字节，而对于中文等其他语言的字符，通常需要 3 个字节。它是目前互联网上使用最广泛的编码方式。
GBK：是中国国家标准的汉字编码，使用 1 - 2 个字节来表示字符，主要用于表示中文，能够覆盖大部分常用的中文字符。

处理文件读写时的编码问题

在进行文件读写操作时，需要指定正确的编码方式，否则可能会出现乱码问题。

# 写入文件，指定编码为 UTF-8
with open('test.txt', 'w', encoding='utf-8') as f:
    f.write('你好，世界！')

# 读取文件，指定编码为 UTF-8
with open('test.txt', 'r', encoding='utf-8') as f:
    content = f.read()
    print(content)

总结

理解和正确处理字符串编码在 Python 编程中非常重要，尤其是在处理多语言文本和文件操作时，需要特别注意编码的一致性

附录

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

这个错误通常在 Python 2 中出现，它表示在尝试将 Unicode 字符串编码为 ASCII 编码时，遇到了不在 ASCII 字符范围内（0 - 127）的字符，从而导致编码失败。下面详细分析错误原因及解决办法。

在 Python 2 里，默认的编码方式是 ASCII，当你进行字符串操作（如打印、写入文件等）时，如果涉及到非 ASCII 字符（像中文、日文等），Python 会尝试使用 ASCII 编码来处理这些字符，而 ASCII 编码只能表示 128 个字符，无法表示非 ASCII 字符，因此就会抛出 UnicodeEncodeError 异常。

# -*- coding: utf-8 -*-
u = u'你好'
print(u)

在上述代码中，定义了一个 unicode 类型的字符串 u，当执行 print(u) 时，Python 会尝试将 u 编码为 ASCII 编码以便输出，由于 “你好” 不在 ASCII 字符范围内，就会触发错误。

解决办法

手动编码
在输出或处理 Unicode 字符串时，手动指定合适的编码方式（如 UTF - 8）进行编码

# -*- coding: utf-8 -*-
u = u'你好'
print(u.encode('utf-8'))

在这个例子中，使用 encode(‘utf-8’) 方法将 unicode 字符串编码为 UTF - 8 字节序列，这样就能正确处理非 ASCII 字符

修改系统默认编码
可以通过 sys 模块修改 Python 解释器的默认编码。

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

u = u'你好'
print(u)

不过，sys.setdefaultencoding 这种方法并不推荐，因为它可能会掩盖一些潜在的编码问题，并且在 Python 3 中已经移除了这个方法。

尽量使用 unicode 类型进行操作
在代码中尽量使用 unicode 类型的字符串进行操作，直到最后需要输出或存储时再进行编码。

# -*- coding: utf-8 -*-
def process_text():
    text = u'你好，世界！'
    # 进行一些文本处理操作
    new_text = text.upper()
    return new_text

result = process_text()
print(result.encode('utf-8'))