在 Python 搭建Web站點(diǎn)之Web服務(wù)器與Web框架 中我們弄清楚了Web 服務(wù)器、Web 應(yīng)用程序、Web框架的概念。對(duì)于 Python 來(lái)說(shuō)，越來(lái)越多的 Web 框架面世，在給我們更多選擇機(jī)會(huì)的同時(shí)，也限制了我們對(duì)于 Web Server 的選擇。同樣是有著很多 Web 框架的Java，因?yàn)橛兄?servlet API 的存在，任何Java Web框架寫(xiě)的應(yīng)用程序都可以運(yùn)行在任意一個(gè) Web Server 上。

Python 社區(qū)當(dāng)然也需要這樣一套 API，來(lái)適配Web服務(wù)器和應(yīng)用程序，這套 API 就是 WSGI(Python Web Server Gateway Interface)，在 PEP 3333 里有詳細(xì)的說(shuō)明。簡(jiǎn)單來(lái)說(shuō)，WSGI是連接Web服務(wù)器和Web應(yīng)用程序的橋梁，一方面從Web server 拿到原始 HTTP 數(shù)據(jù)，處理成統(tǒng)一格式后交給 Web 應(yīng)用程序，另一方面從應(yīng)用程序/框架這邊進(jìn)行業(yè)務(wù)邏輯處理，生成響應(yīng)內(nèi)容后交給服務(wù)器。

Web服務(wù)器和框架通過(guò) WSGI 來(lái)進(jìn)行耦合的詳細(xì)過(guò)程如下圖所示：

WSGI Server 適配

具體解釋如下：

應(yīng)用程序(網(wǎng)絡(luò)框架)提供一個(gè)命名為application的可調(diào)用對(duì)象(WSGI協(xié)議并沒(méi)有指定如何實(shí)現(xiàn)這個(gè)對(duì)象)。 服務(wù)器每次從HTTP客戶端接收請(qǐng)求之后，調(diào)用可調(diào)用對(duì)象application，調(diào)用時(shí)傳遞一個(gè)名叫environ的字典作為參數(shù)，以及一個(gè)名為start_response的可調(diào)用對(duì)象。 框架/應(yīng)用生成HTTP狀態(tài)碼以及HTTP響應(yīng)報(bào)頭，然后將二者傳遞至start_response，等待服務(wù)器保存。此外，框架/應(yīng)用還將返回響應(yīng)的正文。 服務(wù)器將狀態(tài)碼、響應(yīng)報(bào)頭和響應(yīng)正文組合成HTTP響應(yīng)，并返回給客戶端(這一步并不屬于WSGI協(xié)議)。

下面分別從服務(wù)器端和應(yīng)用程序端來(lái)看看 WSGI 是如何做適配的。

服務(wù)器端

我們知道客戶端(通常是瀏覽器)發(fā)出的每個(gè)HTTP請(qǐng)求由請(qǐng)求行、消息報(bào)頭、請(qǐng)求正文三部分組成，里面包含了本次請(qǐng)求的相關(guān)細(xì)節(jié)內(nèi)容。比如：

Method：指出在由Request-URI標(biāo)識(shí)的資源上所執(zhí)行的方法，包括GET，POST 等 User-Agent：允許客戶端將它的操作系統(tǒng)、瀏覽器和其它屬性告訴服務(wù)器;

服務(wù)器從客戶端接收HTTP請(qǐng)求之后，WSGI 接口必須要對(duì)這些請(qǐng)求字段進(jìn)行統(tǒng)一化處理，方便傳給應(yīng)用服務(wù)器接口(其實(shí)就是給框架)。Web服務(wù)器具體傳遞哪些數(shù)據(jù)給應(yīng)用程序，早在CGI(Common Gateway Interface，通用網(wǎng)關(guān)接口)里就有詳細(xì)規(guī)定，這些數(shù)據(jù)被叫做 CGI 環(huán)境變量。WSGI 沿用了 CGI 環(huán)境變量的內(nèi)容，要求 Web 服務(wù)器必須創(chuàng)建一個(gè)字典用來(lái)保存這些環(huán)境變量(一般將其命名為 environ)。除了 CGI 定義的變量，environ 還必須保存一些WSGI定義的變量，此外還可以保存一些客戶端系統(tǒng)的環(huán)境變量，可以參考environ Variables 來(lái)看看具體有哪些變量。

接著 WSGI 接口必須將 environ 交給應(yīng)用程序去處理，這里 WSGI 規(guī)定應(yīng)用程序提供一個(gè)可調(diào)用對(duì)象 application，然后服務(wù)器去調(diào)用 application，獲得返回值為HTTP響應(yīng)正文。服務(wù)器在調(diào)用 application 的時(shí)候，需要提供兩個(gè)變量，一個(gè)是前面提到的變量字典environ，另一個(gè)是可調(diào)用對(duì)象 start_response，它產(chǎn)生狀態(tài)碼和響應(yīng)頭，這樣我們就得到了一個(gè)完整的HTTP響應(yīng)。Web 服務(wù)器將響應(yīng)返回給客戶端，一次完整的HTTP請(qǐng)求-響應(yīng)過(guò)程就完成了。

wsgiref 分析

Python 中內(nèi)置了一個(gè)實(shí)現(xiàn)了WSGI接口的 Web 服務(wù)器，在模塊wsgiref中，它是用純Python編寫(xiě)的WSGI服務(wù)器的參考實(shí)現(xiàn)，我們一起來(lái)簡(jiǎn)單分析一下它的實(shí)現(xiàn)。首先假設(shè)我們用下面代碼啟動(dòng)一個(gè) Web 服務(wù)器：

# Instantiate the server 
httpd = make_server( 
 'localhost', # The host name 
 8051,   # A port number where to wait for the request 
 application  # The application object name, in this case a function 
) 
# Wait for a single request, serve it and quit 
httpd.handle_request() 

然后我們以Web服務(wù)器接收一個(gè)請(qǐng)求、生成 environ，然后調(diào)用 application 來(lái)處理請(qǐng)求這條主線來(lái)分析源碼的調(diào)用過(guò)程，簡(jiǎn)化如下圖所示：

WSGI Server 調(diào)用流程

這里主要有三個(gè)類(lèi)，WSGIServer，WSGIRequestHandler，ServerHandle。WSGIServer 是Web服務(wù)器類(lèi)，可以提供server_address(IP:Port)和 WSGIRequestHandler 類(lèi)來(lái)進(jìn)行初始化獲得一個(gè)server對(duì)象。該對(duì)象監(jiān)聽(tīng)響應(yīng)的端口，收到HTTP請(qǐng)求后通過(guò) finish_request 創(chuàng)建一個(gè)RequestHandler 類(lèi)的實(shí)例，在該實(shí)例的初始化過(guò)程中會(huì)生成一個(gè) Handle 類(lèi)實(shí)例，然后調(diào)用其 run(application) 函數(shù)，在該函數(shù)里面再調(diào)用應(yīng)用程序提供的 application對(duì)象來(lái)生成響應(yīng)。

這三個(gè)類(lèi)的繼承關(guān)系如下圖所示：

WSGI 類(lèi)繼承關(guān)系圖

其中 TCPServer 使用 socket 來(lái)完成 TCP 通信，HTTPServer 則是用來(lái)做 HTTP 層面的處理。同樣的，StreamRequestHandler 來(lái)處理 stream socket，BaseHTTPRequestHandler 則是用來(lái)處理 HTTP 層面的內(nèi)容，這部分和 WSGI 接口關(guān)系不大，更多的是 Web 服務(wù)器的具體實(shí)現(xiàn)，可以忽略。

微服務(wù)器實(shí)例

如果上面的 wsgiref 過(guò)于復(fù)雜的話，下面一起來(lái)實(shí)現(xiàn)一個(gè)微小的 Web 服務(wù)器，便于我們理解 Web 服務(wù)器端 WSGI 接口的實(shí)現(xiàn)。代碼摘自 自己動(dòng)手開(kāi)發(fā)網(wǎng)絡(luò)服務(wù)器(二)，放在 gist 上，主要結(jié)構(gòu)如下：

class WSGIServer(object): 
 # 套接字參數(shù) 
 address_family, socket_type = socket.AF_INET, socket.SOCK_STREAM 
 request_queue_size = 1 
 def __init__(self, server_address): 
  # TCP 服務(wù)端初始化：創(chuàng)建套接字，綁定地址，監(jiān)聽(tīng)端口 
  # 獲取服務(wù)器地址，端口 
 def set_app(self, application): 
  # 獲取框架提供的 application 
  self.application = application 
 def serve_forever(self): 
  # 處理 TCP 連接：獲取請(qǐng)求內(nèi)容，調(diào)用處理函數(shù) 
 def handle_request(self): 
  # 解析 HTTP 請(qǐng)求，獲取 environ，處理請(qǐng)求內(nèi)容，返回HTTP響應(yīng)結(jié)果 
  env = self.get_environ() 
  result = self.application(env, self.start_response) 
  self.finish_response(result) 
 def parse_request(self, text): 
  # 解析 HTTP 請(qǐng)求 
   
 def get_environ(self): 
  # 分析 environ 參數(shù)，這里只是示例，實(shí)際情況有很多參數(shù)。 
  env['wsgi.url_scheme'] = 'http' 
  ... 
  env['REQUEST_METHOD'] = self.request_method # GET 
  ... 
  return env 
 def start_response(self, status, response_headers, exc_info=None): 
  # 添加響應(yīng)頭，狀態(tài)碼 
  self.headers_set = [status, response_headers + server_headers] 
 def finish_response(self, result): 
  # 返回 HTTP 響應(yīng)信息 
SERVER_ADDRESS = (HOST, PORT) = '', 8888 
# 創(chuàng)建一個(gè)服務(wù)器實(shí)例 
def make_server(server_address, application): 
 server = WSGIServer(server_address) 
 server.set_app(application) 
 return server

目前支持 WSGI 的成熟Web服務(wù)器有很多，Gunicorn是相當(dāng)不錯(cuò)的一個(gè)。它脫胎于ruby社區(qū)的Unicorn，成功移植到python上，成為一個(gè)WSGI HTTP Server。有以下優(yōu)點(diǎn)：

容易配置 可以自動(dòng)管理多個(gè)worker進(jìn)程 選擇不同的后臺(tái)擴(kuò)展接口(sync, gevent, tornado等) 應(yīng)用程序端(框架)

和服務(wù)器端相比，應(yīng)用程序端(也可以認(rèn)為框架)要做的事情就簡(jiǎn)單很多，它只需要提供一個(gè)可調(diào)用對(duì)象(一般習(xí)慣將其命名為application)，這個(gè)對(duì)象接收服務(wù)器端傳遞的兩個(gè)參數(shù) environ 和 start_response。這里的可調(diào)用對(duì)象不僅可以是函數(shù)，還可以是類(lèi)(下面第二個(gè)示例)或者擁有 __call__ 方法的實(shí)例，總之只要可以接受前面說(shuō)的兩個(gè)參數(shù)，并且返回值可以被服務(wù)器進(jìn)行迭代即可。

Application 具體要做的就是根據(jù) environ 里面提供的關(guān)于 HTTP 請(qǐng)求的信息，進(jìn)行一定的業(yè)務(wù)處理，返回一個(gè)可迭代對(duì)象，服務(wù)器端通過(guò)迭代這個(gè)對(duì)象，來(lái)獲得 HTTP 響應(yīng)的正文。如果沒(méi)有響應(yīng)正文，那么可以返回None。

同時(shí)，application 還會(huì)調(diào)用服務(wù)器提供的 start_response，產(chǎn)生HTTP響應(yīng)的狀態(tài)碼和響應(yīng)頭，原型如下：

def start_response(self, status, headers,exc_info=None):  

Application 需要提供 status：一個(gè)字符串，表示HTTP響應(yīng)狀態(tài)字符串，還有 response_headers: 一個(gè)列表，包含有如下形式的元組：(header_name, header_value)，用來(lái)表示HTTP響應(yīng)的headers。同時(shí) exc_info 是可選的，用于出錯(cuò)時(shí)，server需要返回給瀏覽器的信息。

到這里為止，我們就可以實(shí)現(xiàn)一個(gè)簡(jiǎn)單的 application 了，如下所示：

def simple_app(environ, start_response): 
 """Simplest possible application function""" 
 HELLO_WORLD = "Hello world!\n" 
 status = '200 OK' 
 response_headers = [('Content-type', 'text/plain')] 
 start_response(status, response_headers) 
 return [HELLO_WORLD] 

或者用類(lèi)實(shí)現(xiàn)如下。

class AppClass: 
 """Produce the same output, but using a class""" 
 def __init__(self, environ, start_response): 
  self.environ = environ 
  self.start = start_response 
 def __iter__(self): 
  ... 
  HELLO_WORLD = "Hello world!\n" 
  yield HELLO_WORLD 

注意這里 AppClass 類(lèi)本身就是 application，用 environ 和 start_response 調(diào)用(實(shí)例化)它返回一個(gè)實(shí)例對(duì)象，這個(gè)實(shí)例對(duì)象本身是可迭代的，符合 WSGI 對(duì) application 的要求。

如果想使用 AppClass 類(lèi)的對(duì)象作為 application，那么必須給類(lèi)添加一個(gè) __call__ 方法，接受 environ 和 start_response 為參數(shù)，返回可迭代對(duì)象，如下所示：

class AppClass: 
 """Produce the same output, but using an object""" 
 def __call__(self, environ, start_response): 

這部分涉及到python的一些高級(jí)特性，比如 yield 和 magic method，可以參考我總結(jié)的python語(yǔ)言要點(diǎn)來(lái)理解。

Flask 中的 WSGI

flask 是一個(gè)輕量級(jí)的Python Web框架，符合 WSGI 的規(guī)范要求。它的最初版本只有 600 多行，相對(duì)便于理解。下面我們來(lái)看下它最初版本中關(guān)于 WSGI 接口的部分。

def wsgi_app(self, environ, start_response): 
 """The actual WSGI application. 
 This is not implemented in `__call__` so that middlewares can be applied: 
  app.wsgi_app = MyMiddleware(app.wsgi_app) 
 """ 
 with self.request_context(environ): 
  rv = self.preprocess_request() 
  if rv is None: 
   rv = self.dispatch_request() 
  response = self.make_response(rv) 
  response = self.process_response(response) 
  return response(environ, start_response) 
def __call__(self, environ, start_response): 
 """Shortcut for :attr:`wsgi_app`""" 
 return self.wsgi_app(environ, start_response) 

這里的 wsgi_app 實(shí)現(xiàn)了我們說(shuō)的 application 功能，rv 是 對(duì)請(qǐng)求的封裝，response 是框架用來(lái)處理業(yè)務(wù)邏輯的具體函數(shù)。這里對(duì) flask 源碼不做過(guò)多解釋，感興趣的可以去github下載，然后check 到最初版本去查看。

中間件

前面 flask 代碼 wsgi_app 函數(shù)的注釋中提到不直接在 __call__ 中實(shí)現(xiàn) application 部分，是為了可以使用中間件。 那么為什么要使用中間件，中間件又是什么呢?

回顧前面的 application/server 端接口，對(duì)于一個(gè) HTTP 請(qǐng)求，server 端總是會(huì)調(diào)用一個(gè) application 來(lái)進(jìn)行處理，并返回 application 處理后的結(jié)果。這足夠應(yīng)付一般的場(chǎng)景了，不過(guò)并不完善，考慮下面的幾種應(yīng)用場(chǎng)景：

對(duì)于不同的請(qǐng)求(比如不同的 URL)，server 需要調(diào)用不同的 application，那么如何選擇調(diào)用哪個(gè)呢; 為了做負(fù)載均衡或者是遠(yuǎn)程處理，需要使用網(wǎng)絡(luò)上其他主機(jī)上運(yùn)行的 application 來(lái)做處理; 需要對(duì) application 返回的內(nèi)容做一定處理后才能作為 HTTP 響應(yīng);

上面這些場(chǎng)景有一個(gè)共同點(diǎn)就是，有一些必需的操作不管放在服務(wù)端還是應(yīng)用(框架)端都不合適。對(duì)應(yīng)用端來(lái)說(shuō)，這些操作應(yīng)該由服務(wù)器端來(lái)做，對(duì)服務(wù)器端來(lái)說(shuō)，這些操作應(yīng)該由應(yīng)用端來(lái)做。為了處理這種情況，引入了中間件。

中間件就像是應(yīng)用端和服務(wù)端的橋梁，來(lái)溝通兩邊。對(duì)服務(wù)器端來(lái)說(shuō)，中間件表現(xiàn)的像是應(yīng)用端，對(duì)應(yīng)用端來(lái)說(shuō)，它表現(xiàn)的像是服務(wù)器端。如下圖所示：

中間件

中間件的實(shí)現(xiàn)

flask 框架在 Flask 類(lèi)的初始化代碼中就使用了中間件：

self.wsgi_app = SharedDataMiddleware(self.wsgi_app, { self.static_path: target }) 

這里的作用和 python 中的裝飾器一樣，就是在執(zhí)行 self.wsgi_app 前后執(zhí)行 SharedDataMiddleware 中的一些內(nèi)容。中間件做的事，很類(lèi)似python中裝飾器做的事情。SharedDataMiddleware 中間件是 werkzeug 庫(kù)提供的，用來(lái)支持站點(diǎn)托管靜態(tài)內(nèi)容。此外，還有DispatcherMiddleware 中間件，用來(lái)支持根據(jù)不同的請(qǐng)求，調(diào)用不同的 application，這樣就可以解決前面場(chǎng)景 1, 2 中的問(wèn)題了。

下面來(lái)看看 DispatcherMiddleware 的實(shí)現(xiàn)：

class DispatcherMiddleware(object): 
 """Allows one to mount middlewares or applications in a WSGI application. 
 This is useful if you want to combine multiple WSGI applications:: 
  app = DispatcherMiddleware(app, { 
   '/app2':  app2, 
   '/app3':  app3 
  }) 
 """ 
 def __init__(self, app, mounts=None): 
  self.app = app 
  self.mounts = mounts or {} 
 def __call__(self, environ, start_response): 
  script = environ.get('PATH_INFO', '') 
  path_info = '' 
  while '/' in script: 
   if script in self.mounts: 
    app = self.mounts[script] 
    break 
   script, last_item = script.rsplit('/', 1) 
   path_info = '/%s%s' % (last_item, path_info) 
  else: 
   app = self.mounts.get(script, self.app) 
  original_script_name = environ.get('SCRIPT_NAME', '') 
  environ['SCRIPT_NAME'] = original_script_name + script 
  environ['PATH_INFO'] = path_info 
  return app(environ, start_response) 

初始化中間件時(shí)需要提供一個(gè) mounts 字典，用來(lái)指定不同 URL 路徑到 application 的映射關(guān)系。這樣對(duì)于一個(gè)請(qǐng)求，中間件檢查其路徑，然后選擇合適的 application 進(jìn)行處理。

關(guān)于 WSGI 的原理部分基本結(jié)束，下一篇我會(huì)介紹下對(duì) flask 框架的理解。