Python 中的並發 Future：輕鬆啟動平行任務-Python教學-PHP中文網

Python 中的並發 Future：輕鬆啟動平行任務

WBOY

發布： 2024-08-05 22:52:02

原創

930 人瀏覽過

Concurrent Futures in Python: Launching Parallel Tasks with Ease

透過並行執行實現最佳效能至關重要。 Python 是一種多功能程式語言，提供了多種並發執行工具。最強大且用戶友好的模組之一是concurrent.futures，它允許開發人員非同步運行呼叫。在本文中，我們將探討該模組的功能以及如何利用它來執行各種任務，包括文件操作和 Web 請求。

並發期貨概述

concurrent.futures 模組提供了一個名為 Executor 的抽象類別，它有助於非同步執行呼叫。雖然不應該直接使用它，但開發人員可以利用它的特定子類，例如 ThreadPoolExecutor 和 ProcessPoolExecutor 來並發執行任務。

主要特點

提交方法：提交方法是神奇發生的地方。它安排一個可調用函數非同步執行並傳回一個 Future 物件。可調用程式使用提供的參數執行，允許開發人員無縫運行後台任務。

   with ThreadPoolExecutor(max_workers=1) as executor:
       future = executor.submit(pow, 323, 1235)
       print(future.result())

登入後複製

在此範例中，我們使用 ThreadPoolExecutor 在單獨的執行緒中將數字求冪。

Map 方法：map 方法是另一個很棒的功能，它允許同時跨多個輸入可迭代執行函數。它立即收集可迭代物件並異步執行呼叫。

   results = executor.map(load_url, URLS, timeout=2)

登入後複製

當您有要並行運行的任務清單時，此功能特別有用。

實際應用：複製文件

考慮一個需要有效率複製多個檔案的場景。以下程式碼片段示範如何使用 ThreadPoolExecutor 並發複製檔案：

import concurrent.futures
import shutil

files_to_copy = [
    ('src2.txt', 'dest2.txt'),
    ('src3.txt', 'dest3.txt'),
    ('src4.txt', 'dest4.txt'),
]

with concurrent.futures.ThreadPoolExecutor() as executor:
    futures = [executor.submit(shutil.copy, src, dst) for src, dst in files_to_copy]
    for future in concurrent.futures.as_completed(futures):
        print(future.result())

登入後複製

本範例利用shutil.copy函數並行執行檔案複製，顯著提高大規模檔案操作的效能。

並發處理 Web 請求

concurrent.futures 模組的另一個令人興奮的應用程式是同時從多個 URL 檢索內容。以下是使用 ThreadPoolExecutor 取得網頁的簡單實作：

import concurrent.futures
import urllib.request

URLS = [
    'http://www.foxnews.com/',
    'http://www.cnn.com/',
    'http://europe.wsj.com/',
    'http://www.bbc.co.uk/',
    'http://nonexistant-subdomain.python.org/',
]

def load_url(url, timeout):
    with urllib.request.urlopen(url, timeout=timeout) as conn:
        return conn.read()

with concurrent.futures.ThreadPoolExecutor() as executor:
    results = executor.map(load_url, URLS, timeout=2)
    for result in results:
        print(result)

登入後複製

此程式碼是快速檢索 Web 內容的簡單方法，展示了在專案中實現並發執行是多麼容易。