二、Python3.7新特性

Python 3.7于2018年6月27日發(fā)布， 包含許多新特性和優(yōu)化，增添了眾多新的類，可用于數(shù)據(jù)處理、針對腳本編譯和垃圾收集的優(yōu)化以及更快的異步I/O，主要如下：

• 用類處理數(shù)據(jù)時減少樣板代碼的數(shù)據(jù)類。
• 一處可能無法向后兼容的變更涉及處理生成器中的異常。
• 面向解釋器的“開發(fā)模式”。
• 具有納秒分辨率的時間對象。
• 環(huán)境中默認使用UTF-8編碼的UTF-8模式。
• 觸發(fā)調(diào)試器的一個新的內(nèi)置函數(shù)。

1、新增內(nèi)置函數(shù)breakpoint()

使用該內(nèi)置函數(shù)，相當于通過代碼的方式設置了斷點，會自動進入Pbd調(diào)試模式。

如果在環(huán)境變量中設置PYTHONBREAKPOINT=0會忽略此函數(shù)。并且，pdb 只是眾多可用調(diào)試器之一，你可以通過設置新的 PYTHONBREAKPOINT 環(huán)境變量來配置想要使用的調(diào)試器。

下面有一個簡單例子，用戶需要輸入一個數(shù)字，判斷它是否和目標數(shù)字一樣：

"""猜數(shù)字游戲"""

def guess(target):
  user_guess = input("請輸入你猜的數(shù) >>> ")
  if user_guess == target:
    return "你猜對了!"
  else:
    return "猜錯了"


if __name__ == '__main__':
  a = 100
  print(guess(a))

不幸的是，即使猜的數(shù)和目標數(shù)一樣，打印的結果也是‘猜錯了'，并且沒有任何異?；蝈e誤信息。

為了弄清楚發(fā)生了什么，我們可以插入一個斷點，來調(diào)試一下。以往一般通過print大法或者IDE的調(diào)試工具，但現(xiàn)在我們可以使用 breakpoint()。

"""猜數(shù)字游戲"""


def guess(target):
  user_guess = input("請輸入你猜的數(shù) >>> ")
  breakpoint()  //加入這一行
  if user_guess == target:
    return "你猜對了!"
  else:
    return "猜錯了"


if __name__ == '__main__':
  a = 100
  print(guess(a))

在 pdb 提示符下，我們可以調(diào)用 locals() 來查看當前的本地作用域的所有變量。（pdb 有大量的命令，你也可以在其中運行正常的Python 語句）

請輸入你猜的數(shù) >>> 100
> d:\work\for_test\py3_test\test.py(7)guess()
-> if user_guess == target:
(Pdb) locals()
{'target': 100, 'user_guess': '100'}
(Pdb) type(user_guess)
<class 'str'>

搞明白了，target是一個整數(shù)，而user_guess 是一個字符串，這里發(fā)生了類型對比錯誤。

2、類型和注解

從 Python 3.5 開始，類型注解就越來越受歡迎。對于那些不熟悉類型提示的人來說，這是一種完全可選的注釋代碼的方式，以指定變量的類型。

什么是注解？它們是關聯(lián)元數(shù)據(jù)與變量的語法支持，可以是任意表達式，在運行時被 Python 計算但被忽略。注解可以是任何有效的 Python 表達式。

下面是個對比的例子：

# 不帶類型注解
def foo(bar, baz):
# 帶類型注解
def foo(bar: 'Describe the bar', baz: print('random')) -> 'return thingy':

上面的做法，其實是Python對自身弱類型語言的強化，希望獲得一定的類型可靠和健壯度，向Java等語言靠攏。

在 Python 3.5 中，注解的語法獲得標準化，此后，Python 社區(qū)廣泛使用了注解類型提示。

但是，注解僅僅是一種開發(fā)工具，可以使用 PyCharm 等 IDE 或 Mypy 等第三方工具進行檢查，并不是語法層面的限制。

我們前面的猜數(shù)程序如果添加類型注解，它應該是這樣的：

"""猜數(shù)字游戲"""


def guess(target:str):
  user_guess:str = input("請輸入你猜的數(shù) >>> ")
  breakpoint()
  if user_guess == target:
    return "你猜對了!"
  else:
    return "猜錯了"


if __name__ == '__main__':
  a:int = 100
  print(guess(a))

PyCharm會給我們灰色的規(guī)范錯誤提醒，但不會給紅色的語法錯誤提示。

用注解作為類型提示時，有兩個主要問題：啟動性能和前向引用。

• 在定義時計算大量任意表達式相當影響啟動性能，而且 typing 模塊非常慢
• 你不能用尚未聲明的類型來注解

typing 模塊如此緩慢的部分原因是，最初的設計目標是在不修改核心 CPython 解釋器的情況下實現(xiàn) typing 模塊。隨著類型提示變得越來越流行，這一限制已經(jīng)被移除，這意味著現(xiàn)在有了對 typing 的核心支持。

而對于向前引用，看下面的例子：

class User:
  def __init__(self, name: str, prev_user: User) -> None:
    pass

錯誤在于 User類型還沒有被聲明，此時的 prev_user 不能定義為 User 類型。

為了解決這個問題，Python3.7 將注解的評估進行了推遲。并且，這項改動向后不兼容，需要先導入annotations，只有到Python 4.0后才會成為默認行為。

from __future__ import annotations

class User: 
  def __init__(self, name: str, prev_user: User) -> None:
    pass

或者如下面的例子：

class C:
  def validate_b(self, obj: B) -> bool:
    ...
class B:
  ...

3、新增dataclasses模塊

這個特性可能是 Python3.7以后比較常用的，它有什么作用呢？

假如我們需要編寫一個下面的類：

from datetime import datetime
import dateutil

class Article(object):
  def __init__(self, _id, author_id, title, text, tags=None, 
         created=datetime.now(), edited=datetime.now()):
  self._id = _id
  self.author_id = author_id
  self.title = title
  self.text = text
  self.tags = list() if tags is None else tags
  self.created = created
  self.edited = edited

  if type(self.created) is str:
    self.created = dateutil.parser.parse(self.created)

  if type(self.edited) is str:
    self.edited = dateutil.parser.parse(self.edited)

  def __eq__(self, other):
    if not isinstance(other, self.__class__):
      return NotImplemented
    return (self._id, self.author_id) == (other._id, other.author_id)

  def __lt__(self, other):
    if not isinstance(other, self.__class__):
      return NotImplemented
    return (self._id, self.author_id) < (other._id, other.author_id)

  def __repr__(self):
    return '{}(id={}, author_id={}, title={})'.format(
        self.__class__.__name__, self._id, self.author_id, self.title)

大量的初始化屬性要定義默認值，可能還需要重寫一堆魔法方法，來實現(xiàn)類實例的打印、比較、排序和去重等功能。

如果使用dataclasses進行改造，可以寫成這個樣子：

from dataclasses import dataclass, field
from typing import List
from datetime import datetime
import dateutil

@dataclass(order=True)  //注意這里
class Article(object):
  _id: int
  author_id: int
  title: str = field(compare=False)
  text: str = field(repr=False, compare=False)
  tags: List[str] = field(default=list(), repr=False, compare=False)
  created: datetime = field(default=datetime.now(), repr=False, compare=False)
  edited: datetime = field(default=datetime.now(), repr=False, compare=False)

  def __post_init__(self):
    if type(self.created) is str:
      self.created = dateutil.parser.parse(self.created)

    if type(self.edited) is str:
      self.edited = dateutil.parser.parse(self.edited)

這使得類不僅容易設置，而且當我們創(chuàng)建一個實例并打印出來時，它還可以自動生成優(yōu)美的字符串。在與其他類實例進行比較時，它也會有適當?shù)男袨?。這是因為dataclasses除了幫我們自動生成 __init__ 方法外，還生成了一些其他特殊方法，如 repr、eq 和 hash 等。

Dataclasses 使用字段 field來完提供默認值，手動構造一個 field() 函數(shù)能夠訪問其他選項，從而更改默認值。例如，這里將 field 中的 default_factory 設置為一個 lambda 函數(shù)，該函數(shù)提示用戶輸入其名稱。

from dataclasses import dataclass, field
class User:
  name: str = field(default_factory=lambda: input("enter name"))

4、生成器異常處理

在Python 3.7中，生成器引發(fā)StopIteration異常后，StopIteration異常將被轉換成RuntimeError異常，那樣它不會悄悄一路影響應用程序的堆?？蚣堋＿@意味著如何處理生成器的行為方面不太敏銳的一些程序會在Python 3.7中拋出RuntimeError。在Python 3.6中，這種行為生成一個棄用警告；在Python 3.7中，它將生成一個完整的錯誤。

一個簡易的方法是使用try/except代碼段，在StopIteration傳播到生成器的外面捕獲它。更好的解決方案是重新考慮如何構建生成器――比如說，使用return語句來終止生成器，而不是手動引發(fā)StopIteration。

5、開發(fā)模式

Python解釋器添加了一個新的命令行開關：-X，讓開發(fā)人員可以為解釋器設置許多低級選項。

這種運行時的檢查機制通常對性能有重大影響，但在調(diào)試過程中對開發(fā)人員很有用。

-X 激活的選項包括：

• asyncio模塊的調(diào)試模式。這為異步操作提供了更詳細的日志記錄和異常處理，而異常操作可能很難調(diào)試或推理。
• 面向內(nèi)存分配器的調(diào)試鉤子。這對于編寫CPython擴展件的那些人很有用。它能夠?qū)崿F(xiàn)更明確的運行時檢查，了解CPython如何在內(nèi)部分配內(nèi)存和釋放內(nèi)存。
• 啟用faulthandler模塊，那樣發(fā)生崩潰后，traceback始終轉儲出去。

6、 高精度時間函數(shù)

Python 3.7中一類新的時間函數(shù)返回納秒精度的時間值。盡管Python是一種解釋型語言，但是Python的核心開發(fā)人員維克多•斯廷納（Victor Stinner）主張報告納秒精度的時間。最主要的原因是，在處理轉換其他程序（比如數(shù)據(jù)庫）記錄的時間值時，可以避免丟失精度。

新的時間函數(shù)使用后綴_ns。比如說，time.process_time()的納秒版本是time.process_time_ns()。請注意，并非所有的時間函數(shù)都有對應的納秒版本。

7、其他新特性

• 字典現(xiàn)在保持插入順序。這在 3.6 中是非正式的，但現(xiàn)在成為了官方語言規(guī)范。在大多數(shù)情況下，普通的 dict 能夠替換 collections.OrderedDict。
• .pyc 文件具有確定性，支持可重復構建 —— 也就是說，總是為相同的輸入文件生成相同的 byte-for-byte 輸出。
• 新增contextvars模塊，針對異步任務提供上下文變量。
• __main__中的代碼會顯示棄用警告（DeprecationWarning）。
• 新增UTF-8模式。在Linux/Unix系統(tǒng)，將忽略系統(tǒng)的locale，使用UTF-8作為默認編碼。在非Linux/Unix系統(tǒng)，需要使用-X utf8選項啟用UTF-8模式。
• 允許模塊定義__getattr__、__dir__函數(shù)，為棄用警告、延遲import子模塊等提供便利。
• 新的線程本地存儲C語言API。
• 更新Unicode數(shù)據(jù)到11.0。

三、Python3.8新特性

Python3.8版本于2019年10月14日發(fā)布，以下是 Python 3.8 相比 3.7 的新增特性。

1、海象賦值表達式

新的語法 :=，將值賦給一個更大的表達式中的變量。它被親切地稱為 “海象運算符”(walrus operator)，因為它長得像海象的眼睛和象牙。

“海象運算符” 在某些時候可以讓你的代碼更整潔，比如：

在下面的示例中，賦值表達式可以避免調(diào)用 len () 兩次:

if (n := len(a)) > 10:  
  print(f"List is too long ({n} elements, expected <= 10)")

類似的好處還可體現(xiàn)在正則表達式匹配中需要使用兩次匹配對象的情況中，一次檢測用于匹配是否發(fā)生，另一次用于提取子分組:

discount = 0.0  

if (mo := re.search(r'(\d+)% discount', advertisement)):  
  discount = float(mo.group(1)) / 100.0

此運算符也可用于配合 while 循環(huán)計算一個值，來檢測循環(huán)是否終止，而同一個值又在循環(huán)體中再次被使用的情況:

# Loop over fixed length blocks  

while (block := f.read(256)) != '':  
  process(block)

或者出現(xiàn)于列表推導式中，在篩選條件中計算一個值，而同一個值又在表達式中需要被使用:

[clean_name.title() for name in names  

 if (clean_name := normalize('NFC', name)) in allowed_names]

請盡量將海象運算符的使用限制在清晰的場合中，以降低復雜性并提升可讀性。

2、僅限位置形參

新增一個函數(shù)形參語法 / 用來指明某些函數(shù)形參必須使用僅限位置而非關鍵字參數(shù)的形式。

這種標記語法與通過 help () 所顯示的使用 Larry Hastings 的 Argument Clinic 工具標記的 C 函數(shù)相同。

在下面的例子中，形參 a 和 b 為僅限位置形參，c 或 d 可以是位置形參或關鍵字形參，而 e 或 f 要求為關鍵字形參:

def f(a, b, /, c, d, *, e, f):  

  print(a, b, c, d, e, f)

以下是合法的調(diào)用:

f(10, 20, 30, d=40, e=50, f=60)

但是，以下均為不合法的調(diào)用:

f(10, b=20, c=30, d=40, e=50, f=60)  # b 不可以是一個關鍵字參數(shù)
f(10, 20, 30, 40, 50, f=60)      # e 必須是一個關鍵字參數(shù)

這種標記形式的一個用例是它允許純 Python 函數(shù)完整模擬現(xiàn)有的用 C 代碼編寫的函數(shù)的行為。例如，內(nèi)置的 pow () 函數(shù)不接受關鍵字參數(shù):

def pow(x, y, z=None, /):  

  "Emulate the built in pow() function"  

  r = x ** y  

  return r if z is None else r%z

另一個用例是在不需要形參名稱時排除關鍵字參數(shù)。例如，內(nèi)置的 len () 函數(shù)的簽名為 len (obj, /)。這可以排除如下這種笨拙的調(diào)用形式:

len(obj='hello') # The "obj" keyword argument impairs readability

另一個益處是將形參標記為僅限位置形參將允許在未來修改形參名而不會破壞客戶的代碼。例如，在 statistics 模塊中，形參名 dist 在未來可能被修改。這使得以下函數(shù)描述成為可能:

def quantiles(dist, /, *, n=4, method='exclusive')  
  ...

由于在 / 左側的形參不會被公開為可用關鍵字，其他形參名仍可在 **kwargs 中使用:

>>> def f(a, b, /, **kwargs):  
...   print(a, b, kwargs)  
...  
>>> f(10, 20, a=1, b=2, c=3)     # a and b are used in two ways  
10 20 {'a': 1, 'b': 2, 'c': 3}

這極大地簡化了需要接受任意關鍵字參數(shù)的函數(shù)和方法的實現(xiàn)。例如，下面是 collections 模塊中的代碼摘錄：

class Counter(dict):  

  def __init__(self, iterable=None, /, **kwds):  

    # Note "iterable" is a possible keyword argument

3、f 字符串支持 =

增加 = 說明符用于 f-string。形式為 f'{expr=}' 的 f 字符串將擴展表示為表達式文本，加一個等于號，再加表達式的求值結果。例如：

>>> user = 'eric_idle'  
>>> member_since = date(1975, 7, 31)  
>>> f'{user=} {member_since=}'  

"user='eric_idle' member_since=datetime.date(1975, 7, 31)"
f 字符串格式說明符允許更細致地控制所要顯示的表達式結果:

>>> delta = date.today() - member_since  

>>> f'{user=!s} {delta.days=:,d}'  
'user=eric_idle delta.days=16,075'
= 說明符將輸出整個表達式，以便詳細演示計算過程:

>>> print(f'{theta=} {cos(radians(theta))=:.3f}')  
theta=30 cos(radians(theta))=0.866

4、 typing模塊的改進

Python是動態(tài)類型語言，但可以通過typing模塊添加類型提示，以便第三方工具驗證Python代碼。Python 3.8給typing添加了一些新元素，因此它能夠支持更健壯的檢查：

• final修飾器和Final類型標注表明，被修飾或被標注的對象在任何時候都不應該被重寫、繼承，也不能被重新賦值。
• Literal類型將表達式限定為特定的值或值的列表（不一定是同一個類型的值）。
• TypedDict可以用來創(chuàng)建字典，其特定鍵的值被限制在一個或多個類型上。注意這些限制僅用于編譯時確定值的合法性，而不能在運行時進行限制。

5、多進程共享內(nèi)存

multiprocessing模塊新增SharedMemory類，可以在不同的Python進城之間創(chuàng)建共享的內(nèi)存區(qū)域。

在舊版本的Python中，進程間共享數(shù)據(jù)只能通過寫入文件、通過網(wǎng)絡套接字發(fā)送，或采用Python的pickle模塊進行序列化等方式。共享內(nèi)存提供了進程間傳遞數(shù)據(jù)的更快的方式，從而使得Python的多處理器和多內(nèi)核編程更有效率。

共享內(nèi)存片段可以作為單純的字節(jié)區(qū)域來分配，也可以作為不可修改的類似于列表的對象來分配，其中能保存數(shù)字類型、字符串、字節(jié)對象、None對象等一小部分Python對象。

6、 新版本的pickle協(xié)議

Python的pickle模塊提供了一種序列化和反序列化Python數(shù)據(jù)結構或?qū)嵗姆椒?，可以將字典原樣保存下來供以后讀取。不同版本的Python支持的pickle協(xié)議不同，而3.8版本的支持范圍更廣、更強大、更有效的序列化。

Python 3.8引入的第5版pickle協(xié)議可以用一種新方法pickle對象，它能支持Python的緩沖區(qū)協(xié)議，如bytes、memoryviews或Numpy array等。新的pickle避免了許多在pickle這些對象時的內(nèi)存復制操作。

NumPy、Apache Arrow等外部庫在各自的Python綁定中支持新的pickle協(xié)議。新的pickle也可以作為Python 3.6和3.7的插件使用，可以從PyPI上安裝。

7、性能改進

• 許多內(nèi)置方法和函數(shù)的速度都提高了20%~50%，因為之前許多函數(shù)都需要進行不必要的參數(shù)轉換。
• 一個新的opcode緩存可以提高解釋器中特定指令的速度。但是，目前實現(xiàn)了速度改進的只有LOAD_GLOBAL opcode，其速度提高了40%。以后的版本中也會進行類似的優(yōu)化。
• 文件復制操作如shutil.copyfile()和shutil.copytree()現(xiàn)在使用平臺特定的調(diào)用和其他優(yōu)化措施，來提高操作速度。
• 新創(chuàng)建的列表現(xiàn)在平均比以前小了12%，這要歸功于列表構造函數(shù)如果能提前知道列表長度的情況下，可以進行優(yōu)化。
• Python 3.8中向新型類（如class A(object)）的類變量中的寫入操作變得更快。operator.itemgetter()和collections.namedtuple()也得到了速度優(yōu)化。