Python 中的并发 Future：轻松启动并行任务-Python教程-PHP中文网

Python 中的并发 Future：轻松启动并行任务

WBOY

发布： 2024-08-05 22:52:02

原创

946 人浏览过

Concurrent Futures in Python: Launching Parallel Tasks with Ease

通过并行执行实现最佳性能至关重要。 Python 是一种多功能编程语言，提供了多种并发执行工具。最强大且用户友好的模块之一是concurrent.futures，它允许开发人员异步运行调用。在本文中，我们将探讨该模块的功能以及如何利用它来执行各种任务，包括文件操作和 Web 请求。

并发期货概述

concurrent.futures 模块提供了一个名为 Executor 的抽象类，它有助于异步执行调用。虽然不应该直接使用它，但开发人员可以利用它的具体子类，例如 ThreadPoolExecutor 和 ProcessPoolExecutor 来并发执行任务。

主要特点

提交方法：提交方法是神奇发生的地方。它安排一个可调用函数异步执行并返回一个 Future 对象。可调用程序使用提供的参数执行，允许开发人员无缝运行后台任务。

   with ThreadPoolExecutor(max_workers=1) as executor:
       future = executor.submit(pow, 323, 1235)
       print(future.result())

登录后复制

在此示例中，我们使用 ThreadPoolExecutor 在单独的线程中将数字求幂。

Map 方法：map 方法是另一个很棒的功能，它允许同时跨多个输入可迭代执行函数。它立即收集可迭代对象并异步执行调用。

   results = executor.map(load_url, URLS, timeout=2)

登录后复制

当您有要并行运行的任务列表时，此功能特别有用。

实际应用：复制文件

考虑一个需要高效复制多个文件的场景。以下代码片段演示了如何使用 ThreadPoolExecutor 并发复制文件：

import concurrent.futures
import shutil

files_to_copy = [
    ('src2.txt', 'dest2.txt'),
    ('src3.txt', 'dest3.txt'),
    ('src4.txt', 'dest4.txt'),
]

with concurrent.futures.ThreadPoolExecutor() as executor:
    futures = [executor.submit(shutil.copy, src, dst) for src, dst in files_to_copy]
    for future in concurrent.futures.as_completed(futures):
        print(future.result())

登录后复制

本示例利用shutil.copy函数并行执行文件复制，显着提高大规模文件操作的性能。

并发处理 Web 请求

concurrent.futures 模块的另一个令人兴奋的应用是同时从多个 URL 检索内容。下面是一个使用 ThreadPoolExecutor 获取网页的简单实现：

import concurrent.futures
import urllib.request

URLS = [
    'http://www.foxnews.com/',
    'http://www.cnn.com/',
    'http://europe.wsj.com/',
    'http://www.bbc.co.uk/',
    'http://nonexistant-subdomain.python.org/',
]

def load_url(url, timeout):
    with urllib.request.urlopen(url, timeout=timeout) as conn:
        return conn.read()

with concurrent.futures.ThreadPoolExecutor() as executor:
    results = executor.map(load_url, URLS, timeout=2)
    for result in results:
        print(result)

登录后复制

此代码是快速检索 Web 内容的简单方法，展示了在项目中实现并发执行是多么容易。