『Python底层原理』--Python字符串的秘密

合集 - Python底层原理系列(11)

1.『Python底层原理』--GIL对多线程的影响03-062.『Python底层原理』--CPython 虚拟机01-233.『Python底层原理』--CPython如何编译代码02-014.『Python底层原理』--CPython如何运行Python代码02-095.『Python底层原理』--CPython的变量实现机制02-196.『Python底层原理』--Python对象系统探秘02-217.『Python底层原理』--Python属性的工作原理02-238.『Python底层原理』--Python整数为什么可以无限大02-24

9.『Python底层原理』--Python字符串的秘密02-28

10.『Python底层原理』--Python字典的实现机制03-0311.『Python底层原理』--异步机制（async/await）03-05

收起

在现代编程中，字符串是不可或缺的数据类型。

无论是处理用户输入、文件读写还是网络通信，字符串都扮演着核心角色。

然而，字符串的处理并非简单地将字符拼接在一起，它涉及到字符集、编码以及编程语言的底层实现。

本文将深入探讨字符串在程序中的处理方式，特别是在 Python 中的发展，

同时与其他编程语言的字符串实现方式进行比较，并对 Python 字符串的未来发展方向进行展望。

1. 程序如何处理字符串

1.1. 字符集与编码

在计算机中，字符串是由字符组成的序列，而字符本质上是通过编码来表示的。

字符集（Character Set）定义了字符的集合，常用的如 ASCII、Unicode 等，而编码（Encoding）则是将字符集中的字符映射到字节序列的规则。

不同的编码方式决定了字符在计算机中的存储和传输方式。

1.2. 广泛使用的UTF-8

UTF-8是目前最广泛使用的字符编码之一，它能够高效地表示 Unicode 字符集。

UTF-8 的优势在于它兼容 ASCII，对于 ASCII 字符，UTF-8 只使用一个字节进行编码，而对于其他字符则使用 2 到 4 个字节。

这种设计使得 UTF-8 在存储和传输效率上表现出色，尤其是在处理多语言文本时。

# 定义一个包含中文字符的字符串
s = "你好"
# 使用UTF - 8编码
utf8_encoded = s.encode("utf-8")
print(utf8_encoded)  # 输出: b'\xe4\xbd\xa0\xe5\xa5\xbd'
# 使用GBK编码
gbk_encoded = s.encode("gbk")
print(gbk_encoded)  # 输出: b'\xc4\xe3\xba\xc3'

在这个示例中，同样的字符串 “你好”，使用 UTF-8 编码后得到的字节序列与使用 GBK 编码后得到的字节序列是不同的。

当我们需要将字节序列再转换回字符串时，必须使用对应的编码方式进行解码，否则会出现乱码。

2. Python字符串的发展

在 Python 早期版本（Python 2）中，字符串处理存在一些混乱。

Python 2 中有两种字符串类型：str和unicode。

str实际上是字节串，它可以表示任意字节序列，而unicode才是真正的 Unicode 字符串。

这种设计导致了在处理多语言文本时容易出现编码错误和混乱，使用过Python2的都知道处理中文字符串的麻烦。

到了 Python 3，对字符串类型进行了重大改进。

Python 3 中的str类型是真正的 Unicode 字符串，而bytes类型用于表示字节序列。

这样的设计使得字符串处理更加清晰和一致。

3. CPython中的实现

CPython中的字符串实现是经过精心设计的，旨在平衡内存占用和性能。

通过动态编码选择、缓存机制和紧凑存储，CPython 能够高效地处理多语言文本。

同时，丰富的字符串方法和高效的编码解码机制使得字符串操作既简单又高效。

这种设计使得 Python 成为处理文本数据的强大工具。

3.1. 内部表示

在CPython中，字符串是 Unicode 字符序列，内部使用多种编码方式动态存储，以平衡内存占用和性能。

其主要的内部结构包括：

• PyASCIIObject：用于存储仅包含 ASCII 字符的字符串。这种字符串可以直接以 UTF-8 格式存储，访问效率高
• PyCompactUnicodeObject：用于存储包含**非 ASCII **字符的字符串。它支持多种编码方式，如 UCS-1（单字节）、UCS-2（双字节）和 UCS-4（四字节），具体使用哪种编码取决于字符串中字符的最大 Unicode 码点
• PyUnicodeObject ：用于兼容旧版本的 API，支持动态转换为其他表示方式。

3.2. 动态编码选择

CPython 根据字符串内容自动选择最合适的编码方式：

如果字符串仅包含 ASCII 字符（码点范围 U+0000 到 U+007F），则使用 UCS-1 编码（单字节）；

如果字符串包含非 ASCII 字符，但码点范围在 U+0080 到 U+FFFF 之间，则使用 UCS-2 编码（双字节）；

如果字符串包含超出 U+FFFF 的字符（如某些表情符号），则使用 UCS-4 编码（四字节）。

这种动态选择机制使得 Python字符串在处理多语言文本时既高效又灵活。

3.3. 字符串的不可变性

在 Python 中，字符串是不可变对象，一旦创建，字符串的内容不能被修改。

这种设计使得字符串可以被安全地共享和缓存。

例如，字符串的哈希值在创建时计算一次，后续可以直接使用，而无需重新计算。

typedef struct {
    PyObject_HEAD
        Py_ssize_t length;  // 字符串长度
    Py_hash_t hash;     // 字符串的哈希值
    struct {
        unsigned int interned:2;  // 是否被缓存
        unsigned int kind:2;      // 编码类型（UCS-1/UCS-2/UCS-4）
        unsigned int compact:1;   // 是否紧凑存储
        unsigned int ascii:1;     // 是否为 ASCII 字符串
        unsigned int ready:1;     // 是否已初始化
    } state;
    wchar_t *wstr;  // 用于存储宽字符表示
} PyASCIIObject;

3.4. 编码与解码

CPython 提供了高效的编码和解码机制，支持多种字符集（如 UTF-8、UTF-16、GBK 等）。

字符串的编码和解码通过encode()和decode()方法实现：

# 编码：将 Unicode 字符串转换为字节序列
text = "你好，Python"
bytes_data = text.encode("utf-8")
print(bytes_data)  # b'\xe4\xbd\xa0\xe5\xa5\xbd\xef\xbc\x8cPython'

# 解码：将字节序列转换回 Unicode 字符串
decoded_text = bytes_data.decode("utf-8")
print(decoded_text)  # 你好，Python

在内部，CPython 使用 UTF-8 作为默认编码，因为它兼容 ASCII 并且适合多语言支持。

3.5. 性能优化

CPython 在字符串处理上进行了多项优化：

• 缓存机制：对于常见的字符串操作（如intern()），CPython 会缓存结果，避免重复计算
• 紧凑存储：通过动态选择编码方式，CPython 能够在保证性能的同时减少内存占用
• 延迟解码：对于需要多次使用的字符串，CPython 会延迟解码操作，直到真正需要时才进行解码

4. 与其他语言字符串的对比

与主流的编程语言中字符串对比，可以让我们进一步了解Python字符串的优劣之处。

以下几种编程语言在字符串实现上各有特点：

• C 语言注重底层控制
• Go 和 Rust 注重安全性和 UTF-8 支持
• Java 则注重易用性和安全性

每种语言的设计都反映了其目标和应用场景。

4.1. C语言中的字符串

在 C 语言中，字符串通常用字符数组来表示，以空字符'\0'作为字符串的结束标志。

C 标准库提供了一系列函数来处理字符串，如strcpy、strcmp等。

然而，C 语言的字符串处理并不直接支持 Unicode，对于多语言文本处理，需要额外的库或手动处理编码转换。

为了支持多字节字符集，C 引入了wchar_t类型，但它的大小是平台相关的，这使得跨平台开发变得复杂。

4.2. Go语言中的字符串

Go 语言的字符串是只读的字节切片，并且 Go 语言的源文件默认采用 UTF - 8 编码。

Go 语言的字符串支持通过for循环迭代字节或使用rune类型迭代 Unicode 码点。

标准库提供了丰富的函数来处理字符串，包括字符串查找、替换和编码转换等操作。

4.3. Java语言中的字符串

Java 语言中的字符串是String类的实例，它是不可变的。

Java 字符串内部使用 UTF-16 编码来存储字符，对于基本多文种平面（BMP）内的字符，每个字符占用 2 个字节。

Java提供了丰富的字符串操作方法，并且通过String类和StringBuilder类，开发者可以高效地处理字符串。

Java 的字符串设计注重安全性，但其内部的 UTF-16 编码在处理 ASCII 文本时可能会浪费空间。

4.4. Rust语言中的字符串

Rust 语言的主要字符串类型是str，它是一个 UTF - 8 编码的不可变字符串切片。

Rust 不支持通过整数索引直接访问字符串中的字符，而是提供了bytes和chars方法来分别迭代字节和码点。

Rust 的字符串处理强调安全性和高效性，通过所有权和借用机制来避免常见的字符串操作错误。

5. 总结

总之，Python 字符串的设计目标是在灵活性和效率之间取得平衡。

通过将str类型设计为 Unicode 字符串，Python 能够方便地处理多语言文本，满足了现代应用程序对全球化的需求。

同时，CPython 在字符串实现上采用了一些优化策略，如字符串驻留（string interning）等技术，提高了字符串操作的效率。

随着编程社区对UTF-8编码的广泛认可和使用，Python 未来是否会采用类似 Go 或 Rust 的 UTF-8 主导的字符串实现方式是一个值得探讨的问题。

目前 Python 的字符串实现已经能够很好地支持多语言文本处理，并且在效率和灵活性方面取得了较好的平衡。

然而，如果未来 Python 社区认为进一步优化 UTF-8 处理的性能或者简化字符串处理的模型是必要的，那么借鉴 Go 或 Rust 的实现方式可能是一个方向。