Python3.8的新功能

下面就一些明显的新功能，进行说明。

Assignment Expressions

又叫做「海象运算符」(The Walrus Operator)。因为:=很像海象「眼睛小，长着两枚长长的牙」。

Python Positional-Only parameters

说白了就是强制使用者用位置参数

Python Runtime Audit Hooks

现在可以给Python运行时添加审计钩子:

In : import sys
...: import urllib.request
...:
...:
...: def audit_hook(event, args):
...:     if event in ['urllib.Request']:
...:         print(f'Network {event=} {args=}')
...:
...: sys.addaudithook(audit_hook)

In : urllib.request.urlopen('https://httpbin.org/get?a=1')
Network event='urllib.Request' args=('https://httpbin.org/get?a=1', None, {}, 'GET')
Out: <http.client.HTTPResponse at 0x10e394310>

目前支持审计的事件名字和API可以看PEP文档(延伸阅读链接2)，urllib.Request是其中之一。另外还可以自定义事件:

In : def audit_hook(event, args):
...:     if event in ['make_request']:
...:         print(f'Network {event=} {args=}')
...:

In : sys.addaudithook(audit_hook)

In : sys.audit('make_request', 'https://baidu.com')
Network event='make_request' args=('https://baidu.com',)

In : sys.audit('make_request', 'https://douban.com')
Network event='make_request' args=('https://douban.com',)

Multiprocessing shared memory

可以跨进程直接访问同一内存(共享):

# IPython进程A
In : from multiprocessing import shared_memory

In : a = shared_memory.ShareableList([1, 'a', 0.1])

In : a
Out: ShareableList([1, 'a', 0.1], name='psm_d5d6ba1b') # 注意name
# IPython进程B(另外一个终端进入IPython)
In : from multiprocessing import shared_memory

In : b = shared_memory.ShareableList(name='psm_d5d6ba1b')  # 使用name就可以共享内存

In : b
Out: ShareableList([1, 'a', 0.1], name='psm_d5d6ba1b')

New importlib.metadata module

使用新的importlib.metadata模块可以直接读取第三方包的元数据:

In : from importlib.metadata import version, files, requires, distribution

In : version('flask')
Out: '1.1.1'

In : requires('requests')
Out:
['chardet (<3.1.0,>=3.0.2)',
 'idna (<2.9,>=2.5)',
 'urllib3 (!=1.25.0,!=1.25.1,<1.26,>=1.21.1)',
 'certifi (>=2017.4.17)',
 "pyOpenSSL (>=0.14) ; extra == 'security'",
 "cryptography (>=1.3.4) ; extra == 'security'",
 "idna (>=2.0.0) ; extra == 'security'",
 "PySocks (!=1.5.7,>=1.5.6) ; extra == 'socks'",
 'win-inet-pton ; (sys_platform == "win32" and python_version == "2.7") and extra == \'socks\'']

In : dist = distribution('celery')

In : dist.version
Out: '4.3.0'

In : dist.metadata['Requires-Python']
Out: '>=2.7, !=3.0.*, !=3.1.*, !=3.2.*, !=3.3.*'

In : dist.metadata['License']

In : dist.entry_points
Out:
[EntryPoint(name='celery', value='celery.__main__:main', group='console_scripts'),
 EntryPoint(name='celery', value='celery.contrib.pytest', group='pytest11')]

In : files('celery')[8]
Out: PackagePath('celery/__init__.py')

In : dist.locate_file(files('celery')[8])
Out: PosixPath('/Users/dongweiming/test/venv/lib/python3.8/site-packages/celery/__init__.py')

functools.cached_property

缓存属性 (cached_property) 是一个非常常用的功能，很多知名 Python 项目都自己实现过它，现在终于进入版本库了。

具体的可以看我之前写的文章: functools.cached_property(Python 3.8)

functools.lru_cache作为装饰器时可以不加参数

lru_cache装饰器支持max_size和typed2个参数，如果对默认参数不敏感，过去只能这么用(需要空括号):

In : @lru_cache()
...: def add(a, b):
...:     return a + b
...:

从3.8开始可以直接作为装饰器，而不是作为返回装饰器的函数(不加括号):

In : @lru_cache
...: def add(a, b):
...:     return a + b
...:

就像dataclasses.dataclass，绝大部分场景都是这么用:

@dataclass
class InventoryItem:
    ...

其实dataclass支持多个参数:

def dataclass(cls=None, /, *, init=True, repr=True, eq=True, order=False,
              unsafe_hash=False, frozen=False):

所以这种使用全部缺省值的装饰器工厂用法中，括号反而显得多余了。

Asyncio REPL

具体的可以看我之前写的文章: asyncio REPL(Python 3.8)

F-strings DEBUG

具体的可以看我之前写的文章: 使用f-strings调试(Python3.8)

Async Mock

单元测试模块unittest添加了mock异步代码的类:

In : import asyncio

In : from unittest.mock import AsyncMock, MagicMock

In : mock = AsyncMock(return_value={'json': 123})
In : await mock()
Out: {'json': 123}

In : asyncio.run(mock())
Out: {'json': 123}

In : async def main(*args, **kwargs):
...:     return await mock(*args, **kwargs)
...:

In : asyncio.run(main())
Out: {'json': 123}

In : mock = MagicMock()  # AsyncMock也可以

In : mock.__aiter__.return_value = [1, 2, 3]

In : async def main():
...:     return [i async for i in mock]
...:

In : asyncio.run(main())
Out: [1, 2, 3]

Generalized iterable unpacking in yield and return

具体的可以看我之前写的文章: Python3.8对「可迭代解包」的改进

改进的模块

现在的_asdict()方法collections.namedtuple()返回一个dict而不是一个collections.OrderedDict。这是有效的，因为自Python 3.7以来，常规dicts已经保证了排序。如果需要额外的功能OrderedDict，建议的补救措施是将结果转换为所需的类型：OrderedDict(nt._asdict())。该unicodedata模块已升级为使用Unicode 12.0.0 版本。

ASYNCIO

在Windows上，现在是默认的事件循环ProactorEventLoop。

gettext

添加pgettext()及其变体。

检查

如果该属性是值为docstrings的位置，该inspect.getdoc()函数现在可以找到文档字符串。这提供了类似于我们已经有文件的选项，以及：__slots__dictproperty()classmethod()staticmethod()

class AudioClip:

__slots__ = {'bit_rate': 'expressed in kilohertz to one decimal place',

'duration': 'in seconds, rounded up to an integer'}

def __init__(self, bit_rate, duration):

self.bit_rate = round(bit_rate / 1000.0, 1)

self.duration = ceil(duration)

get_objects()现在可以接收一个可选的生成参数，指示从中获取对象的生成。由Pablo Galindo 提供的 bpo-36016。

gzip

添加了mtime参数以gzip.compress()获得可重现的输出。（由Guo Ci Teo在bpo-34898供稿。）

idlelib和IDLE

超过N行的输出（默认为50）被压缩到一个按钮。可以在“设置”对话框的“常规”页面的PyShell部分中更改N. 右键单击输出可以挤压更少但可能超长的线条。通过双击按钮或通过右键单击按钮进入剪贴板或单独的窗口，可以扩展压缩输出。（由Tal Einat在bpo-1529353供稿。）

上述更改已被移植到3.7维护版本。

json.tool

添加选项--json-lines以将每个输入行解析为单独的JSON对象。（由Weipeng Hong在bpo-31553供稿。）

计算

增加math.dist()了计算两点之间欧氏距离的新函数。

扩展了math.hypot()处理多个维度的功能。以前，它只支持2-D案例。

添加了新函数，math.prod()作为类似函数sum() 返回“start”值（默认值：1）乘以可迭代数字的乘积。

os.path

os.path返回一个布尔值结果类似功能exists()，lexists()，isdir()， isfile()，islink()，和ismount()现在回到False代替升高ValueError或它的子类 UnicodeEncodeError，并UnicodeDecodeError为包含字符或字节在OS级不可表示的路径。

expanduser()在Windows上现在更喜欢 USERPROFILE 环境变量，不使用 HOME，通常不为常规用户帐户设置。

ncurses

添加了一个新变量，其中包含底层ncurses库的结构化版本信息：ncurses_version。

pathlib

pathlib.Path返回布尔结果类似方法 exists()，is_dir()， is_file()，is_mount()， is_symlink()，is_block_device()， is_char_device()，is_fifo()， is_socket()现在回到False而不是提高 ValueError或它的子类UnicodeEncodeError的包含字符的不可表示在操作系统级别路径。（由Serhiy Storchaka供稿于bpo-33721。）

shutil

shutil.copytree()现在接受一个新的dirs_exist_ok关键字参数。

SSL

添加SSLContext.post_handshake_auth以启用和 ssl.SSLSocket.verify_client_post_handshake()启动TLS 1.3握手后身份验证。

统计

添加statistics.fmean()为更快的浮点变体statistics.mean()。

添加statistics.multimode()了返回最常见值的列表。

添加statistics.NormalDist了一个用于创建和操作随机变量的正态分布的工具.

>>>
>>> temperature_feb = NormalDist.from_samples([4, 12, -3, 2, 7, 14])
>>> temperature_feb
NormalDist(mu=6.0, sigma=6.356099432828281)
>>> temperature_feb.cdf(3)            # Chance of being under 3 degrees
70.3184678262814532
>>> # Relative chance of being 7 degrees versus 10 degrees
>>> temperature_feb.pdf(7) / temperature_feb.pdf(10)
1.2039930378537762
>>> el_nino = NormalDist(4, 2.5)
>>> temperature_feb += el_nino        # Add in a climate effect
>>> temperature_feb
NormalDist(mu=10.0, sigma=6.830080526611674)
>>> temperature_feb * (9/5) + 32      # Convert to Fahrenheit
NormalDist(mu=50.0, sigma=12.294144947901014)
>>> temperature_feb.samples(3)        # Generate random samples
[7.672102882379219, 12.000027119750287, 4.647488369766392]

tar文件

该tarfile模块现在默认为新档案的现代pax（POSIX.1-2001）格式，而不是之前的GNU特定格式。这通过标准化和可扩展格式的一致编码（UTF-8）提高了跨平台的可移植性，并提供了其他一些好处。

令牌化

当提供没有尾随新行的输入时，tokenize模块现在隐式地发出NEWLINE令牌。此行为现在与C tokenizer在内部执行的操作相匹配。

Tkinter

添加的方法selection_from()， selection_present()， selection_range()和 selection_to() 在tkinter.Spinbox类。

moveto() 在tkinter.Canvas课堂上添加了方法。

时间

CLOCK_UPTIME_RAW为macOS 10.12 添加了新时钟。

unicodedata

新函数is_normalized()可用于验证字符串是否处于特定的正常形式。

单元测试

添加addModuleCleanup()并 addClassCleanup()进行unittest以支持setUpModule()和的清理setUpClass()。

VENV

venv现在，Activate.ps1在PowerShell Core 6.1下，所有平台上都包含一个用于激活虚拟环境的脚本。

XML

作为对DTD和外部实体检索的缓解，默认情况下， xml.dom.minidom和xml.sax模块不再处理外部实体。

C API的变化

-堆分配类型的实例（例如用其创建的实例 PyType_FromSpec()）保存对其类型对象的引用。增加这些类型对象的引用计数已从 PyType_GenericAlloc()更低级别的函数移动， PyObject_Init()并且PyObject_INIT()。这使得通过PyType_FromSpec()托管代码中的其他类行为创建类型。

静态分配的类型不受影响。

对于绝大多数情况，应该没有副作用。但是，在分配实例（可能是为了解决bug）之后手动增加引用计数的类型现在可能变得不朽。为避免这种情况，这些类需要在实例释放期间在类型对象上调用Py_DECREF。

要将这些类型正确移植到3.8，请应用以下更改：

Py_INCREF分配实例后删除类型对象 - 如果有的话。这可能打完电话后发生的PyObject_New()， PyObject_NewVar()，PyObject_GC_New()， PyObject_GC_NewVar()，或使用任何其他自定义分配器 PyObject_Init()或PyObject_INIT()。

例：

static foo_struct *
foo_new(PyObject *type) {
    foo_struct *foo = PyObject_GC_New(foo_struct, (PyTypeObject *) type);
    if (foo == NULL)
        return NULL;
#if PY_VERSION_HEX < 0x03080000
    	// Workaround for Python issue 35810; no longer necessary in Python 3.8
    	PY_INCREF(type)
#endif
    return foo;
}

确保 tp_dealloc堆分配类型的所有自定义函数都减少了类型的引用计数。

例：

static void
foo_dealloc(foo_struct *instance) {
    PyObject *type = Py_TYPE(instance);
    PyObject_GC_Del(instance);
#if PY_VERSION_HEX >= 0x03080000
    // This was not needed before Python 3.8 (Python issue 35810)
    Py_DECREF(type);
#endif
}

CPython字节码更改

通过移动将块堆栈展开到编译器中的逻辑，简化了解释器循环。编译器现在发出显式指令，用于调整值堆栈并调用清理代码break，continue和 return。

删除操作码BREAK_LOOP，CONTINUE_LOOP， SETUP_LOOP和SETUP_EXCEPT。增加了新的操作码ROT_FOUR，BEGIN_FINALLY，CALL_FINALLY和 POP_FINALLY。改变了END_FINALLY和WITH_CLEANUP_START。添加了新的操作码，END_ASYNC_FOR`用于处理在等待循环中的下一个项目时引发的异常。