Python 非同步呼叫命令列工具

伊谢尔伦
發布: 2016-11-21 13:41:14
原創
1356 人瀏覽過

  當你在自己的Python 程式中採用了基於事件循環的非同步程式設計方法之後,你會發現自己不自覺地被其牢牢吸引住,並不是說這一方法多麼棒,而是因為你不得不想辦法保證程式中的任意環節都不能是阻塞的!

  例如當前的場景是希望從MongoDB 中讀取每一條未處理過的數據,下載並保存其中的圖片信息,然後更新數據庫的內容。 Python 常用的 MongoDB 非同步驅動是 Motor:    

 結合 asyncio 使用方法如下: 

import motor.motor_asyncio
  import asyncio
  client = motor.motor_asyncio.AsyncIOMotorClient()
  db = client.test_database
  async def run():
  async for mm in db.test_database.find({"status": 0}):
  print(mm['img_src'])
  # Download Image Here
  # dl_img(mm['img_src'])
  await db.test_database.update({"_id": mm['_id']}, {"$set": {"status":1}})
  loop = asyncio.get_event_loop()
  loop.run_until_complete(run())
登入後複製

此時如果 dl_img() 處的操作是處理阻塞的,那麼就沒有意義。當然這裡依然可以藉助非同步網路請求函式庫 aiohttp 來實現圖片下載:

  async with session.get(img) as resp:
  with open(img.split("/")[-1], 'wb') as fd:
  while True:
  chunk = await resp.content.read(1024)
  if not chunk:
  break
  fd.write(chunk)
登入後複製

當然也可以不需要自己動手下載,直接呼叫系統命令列工具(例如 wget)來完成下載任務。 Python 透過subprocess 標準函式庫實作系統指令呼叫(取代舊的os.system(cmd)),執行下載任務只需要:

import subprocess as sb
sb.run(['wget', img], shell=True)
登入後複製

但是這種呼叫方式是無法直接在asyncio的事件循環中使用的,但是asyncio提供了對應的subprocess介面:

asyncio.create_subprocess_exec(*args, ...)
asyncio.create_subprocess_shell(cmd, ...)
登入後複製

這兩個方法都傳回一個asyncio.subprocess.Process 實例,而它的介面設計完全模仿了subprocess.Popen(上面提到subprocess.run()的底層實作),因此很容易將其用法移植到事件循環中:  

async def dl_img(src):
  dl = await asyncio.create_subprocess_shell('wget {} -O {}'.format(src, src.split("/")[-1])
  await dl.wait()
登入後複製

除了上面場景中的用法,也可以直接將命令行的執行作為任務放入事件循環:

  loop = asyncio.get_event_loop()
  sb = asyncio.create_subprocess_shell('exit 7', loop=loop)
  proc = loop.run_until_complete(sb)
  exitcode = loop.run_until_complete(proc.wait())
登入後複製

在Python 非同步程式設計的意義就在於不要讓CPU 堵在IO 上,因此需要在每一處涉及到阻塞的操作都需要注意使用正確的非同步方法,而一旦這些操作被封裝成異步的Task 之後,其後續的調度執行就無需再顧慮了。

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板