Python内建类型str源码学习

引言

“深入认识Python内建类型”这部分的内容会从源码角度为大家介绍Python中各种常用的内建类型。

在介绍常用类型str之前，在上一篇博客：Python源码学习笔记：深入认识Python内建类型——bytes已经为大家介绍了和str息息相关的bytes的源码知识。这篇博客回味大家分析str相关的源码。

1 Unicode

计算机存储的基本单位是字节，由8个比特位组成。由于英文只由26个字母加若干符号组成，因此英文字符可以直接用字节来保存。但是其他语言（例如中日韩等），由于字符众多，不得不使用多个字节来进行编码。

随着计算机技术的传播，非拉丁文字符编码技术不断发展，但是仍然存在两个比较大的局限性：

• 不支持多语言：一种语言的编码方案不能用于另外一种语言
• 没有统一标准：例如中文就有GBK、GB2312、GB18030等多种编码标准

由于编码方式不统一，开发人员就需要在不同编码之间来回转换，不可避免地会出现很多错误。为了解决这类不统一问题，Unicode标准被提出了。Unicode对世界上大部分文字系统进行整理、编码，让计算机可以用统一的方式处理文本。Unicode目前已经收录了超过14万个字符，天然地支持多语言。（Unicode的uni就是“统一”的词根）

2 Python中的Unicode

2.1 Unicode对象的好处

Python在3之后，str对象内部改用Unicode表示，因此在源码中成为Unicode对象。使用Unicode表示的好处是：程序核心逻辑统一使用Unicode，只需在输入、输出层进行解码、编码，可最大程度地避免各种编码问题。

图示如下：

2.2 Python对Unicode的优化

问题：由于Unicode收录字符已经超过14万个，每个字符至少需要4个字节来保存（这里应该是因为2个字节不够，所以才用4个字节，一般不会使用3个字节）。而英文字符用ASCII码表示仅需要1个字节，使用Unicode反而会使频繁使用的英文字符的开销变为原来的4倍。

首先我们来看一下Python中不同形式的str对象的大小差异：

>>> sys.getsizeof('ab') - sys.getsizeof('a')
1
>>> sys.getsizeof('一二') - sys.getsizeof('一')
2
>>> sys.getsizeof('