在Python中的平行處理
簡介
在當今快節奏的數位環境中，對於開發人員和資料科學家來說，有效完成計算困難的任務至關重要。幸運的是，由於其適應性和廣泛的生態系統，Python提供了強大的平行處理能力。我們可以將困難的問題分解為更小、更易於管理的活動，並同時進行處理，從而獲得大幅度的效能提升。
Python 的平行處理功能使我們能夠利用可用的電腦資源更快、更有效地進行網頁抓取、科學模擬和資料分析等活動。在這篇文章中，我們將透過 Python 並行處理開始一段旅程。我們將研究許多方法，包括多處理、非同步編程和多線程，並學習如何有效地使用它們來繞過系統中的效能障礙。加入我們，讓我們認識到 Python 並行處理的全部威力，並達到效能和生產力的新高度。
了解並行處理
將作業拆分為較小的子任務並在多個處理器或核心上同時執行它們稱為平行處理。並行處理可以透過有效地利用可用的計算資源來顯著減少程式的總執行時間。非同步程式設計、多處理和多執行緒只是 Python 提供的幾種平行處理方法。
Python 中的多執行緒
使用多執行緒的方法，許多執行緒在同一個行程內同時運行，共享同一塊記憶體。可以使用Python的threading模組很容易地實作多執行緒。然而，在Python中使用多執行緒可能不會對CPU密集型操作產生加速效果，因為全域解釋器鎖定（GIL）只允許一個執行緒同時執行Python字節碼。然而，多執行緒對於I/O密集型任務可能很有用，因為它允許執行緒在等待I/O操作完成時執行其他操作。
讓我們來看一個使用多執行緒下載多個網頁的範例：
範例
import threading import requests
def download_page(url):
response = requests.get(url)
print(f"Downloaded {url}")
urls = [
"https://example.com",
"https://google.com",
"https://openai.com"
]
threads = []
for url in
urls:
thread = threading.Thread(target=download_page,
args=(url,)) thread.start() threads.append(thread)
for thread in threads:
thread.join()
輸出
Downloaded https://example.com Downloaded https://google.com Downloaded https://openai.com
由於上面的程式碼片段可以同時進行多個下載，因此該程式碼片段在其自己的線程中下載每個 URL。 join() 函數確保主執行緒等待每個執行緒完成後再繼續。
Python 中的多重處理
多進程與多執行緒相對應，透過使用多個進程，每個進程都有自己的記憶體空間，提供了真正的並行性。 Python的multiprocessing模組提供了一個高階介面來實現多進程。多進程適用於CPU密集型任務，因為每個進程在獨立的Python解釋器中運行，避免了GIL多執行緒限制。
在下面的程式碼中使用了多進程。一旦池類別產生了一組工作進程，map()方法會將負擔分配給可用的進程。結果列表是結果的集合。
考慮下面的例子，在這個例子中，我們使用多個進程來計算列表中每個整數的平方：
範例
import multiprocessing
def square(number):
return number ** 2
numbers = [1, 2, 3, 4, 5]
with multiprocessing.Pool() as pool:
results = pool.map(square, numbers)
print(results)
輸出
[1, 4, 9, 16, 25]
Python 非同步程式設計
透過利用非阻塞操作，非同步程式設計實現了I/O密集型進程的高效執行。由於有了asyncio套件，Python可以使用協程、事件循環和futures來建立非同步程式碼。隨著線上應用和API的流行，非同步程式設計變得越來越重要。
下面的程式碼範例中的fetch_page()協程利用aiohttp來非同步取得網頁。 main()方法產生一個作業列表，然後使用asyncio.gather()同時執行這些作業。若要等待任務完成並接收結果，請使用await關鍵字。
讓我們來看一個使用asyncio和aiohttp非同步取得多個網頁的範例：
範例
import asyncio
import aiohttp
async def fetch_page(url): async with aiohttp.ClientSession() as session: async with session.get(url) as response:
return await response.text()
async def main():
urls = [
"https://example.com",
"https://google.com",
"https://openai.com"
]
tasks = [fetch_page(url) for url in urls] pages = await asyncio.gather(*tasks)
print(pages)
asyncio.run(main())
輸出
['<!doctype html>\n<html>\n<head>\n <title>Example Domain</title>\n\n <meta
charset="utf-8" />\n <meta http-equiv="Content-type"content="text/html; charset=utf-8" />\n <meta name="viewport" content="width=device-width, initialscale=1" />\n <style type="text/css">\n body {\n background-color: #f0f0f2;\n margin: 0;\n padding: 0;\n font-family: "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;\n \n }\n div {\n width: 600px;\n margin: 5em auto;\n padding: 50px;\n background-color: #fff;\n border-radius: 1em;\n }\n a:link, a:visited {\n color: #38488f;\n text-decoration: none;\n }\n @media (maxwidth: 700px) {\n body {\n background-color: #fff;\n }\n div {\n width: auto;\n margin: 0 auto;\n border-radius: 0;\n padding: 1em;\n }\n }\n </style> \n</head>\n\n<body>\n<div>\n <h1 id="Example-Domain">Example Domain</h1>\n <p>This domain is for use in illustrative examples in documents. You may use this\n domain in literature without prior coordination or asking for permission.</p>\n <p><a href="https://www.iana.org/domains/example">More information...</a></p>\n</div>\n</body>\n</html>', '<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en"><head><meta content="Search the world's information, including webpages, images, videos and more. Google has many special features to help you find exactly what you're looking for." name="description"><meta content="noodp" name="robots"><meta content="text/html; charset=UTF-8" http-equiv="Content-Type"><meta content="/logos/doodles/2021/mom-
and-dad-6116550989716480.2-law.gif" itemprop="image"><link href="/logos/doodles/2021/mom-and-dad-6116550989716480.2-law.gif" rel="icon" type="image/gif"><title>Google</title><script nonce="sJwM0Ptp5a/whzxPtTD8Yw==">(function(){window.google={kEI:'cmKgYY37A7 K09QPhzKuACw',kEXPI:'1354557,1354612,1354620,1354954,1355090,1355493,13556
83,3700267,4029815,4031109,4032677,4036527,4038022,4043492,4045841,4048347,4
048490,4052469,4055589,4056520,4057177,4057696,4060329,4060798,4061854,4062 531,4064696,406 '
選擇正確的方法
Python的平行處理技術因任務的特定情況而異。以下是一些指南，可幫助您做出明智的決策：
對於I/O密集型的活動，其中大部分執行時間都花在等待輸入/輸出操作上，多執行緒是合適的。它適用於下載檔案、使用API和操作檔案等任務。由於Python的全域解釋器鎖定（GIL），多執行緒可能無法顯著加快CPU密集型活動的速度。
另一方面，多進程適用於涉及密集運算的CPU綁定任務。它透過利用多個進程，每個進程都有自己的記憶體空間，繞過了GIL的限制，實現真正的並行性。然而，它在記憶體消耗和進程間通訊方面會產生額外的開銷。
對於涉及網路操作的 I/O 密集型活動，使用 asyncio 等程式庫執行的非同步程式設計非常有用。它利用非阻塞 I/O 操作，以便作業可以繼續進行，而不必等待每個操作完成。此方法有效管理多個並發連接，使其適用於網頁伺服器開發、Web API 互動和網頁抓取。非同步編程最大限度地減少了 I/O 操作的等待時間，確保了響應能力和可擴展性。
結論
Python 的平行處理能力為提高需要複雜計算的任務的效率提供了機會。無論您選擇使用多執行緒、多處理或非同步編程，Python 都提供了必要的工具和模組來有效利用並發性。透過理解活動的性質並選擇適當的技術，您可以最大限度地發揮並行處理的優勢並縮短執行時間。因此，繼續探索並充分利用 Python 的並行性來創建更快、更有效率的應用程式。
以上是在Python中的平行處理的詳細內容。更多資訊請關注PHP中文網其他相關文章！
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發環境
Dreamweaver CS6
視覺化網頁開發工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
PHP和Python：解釋了不同的範例
Apr 18, 2025 am 12:26 AM
PHP主要是過程式編程，但也支持面向對象編程（OOP）；Python支持多種範式，包括OOP、函數式和過程式編程。 PHP適合web開發，Python適用於多種應用，如數據分析和機器學習。
在PHP和Python之間進行選擇：指南
Apr 18, 2025 am 12:24 AM
PHP適合網頁開發和快速原型開發，Python適用於數據科學和機器學習。 1.PHP用於動態網頁開發，語法簡單，適合快速開發。 2.Python語法簡潔，適用於多領域，庫生態系統強大。
sublime怎麼運行代碼python
Apr 16, 2025 am 08:48 AM
在 Sublime Text 中運行 Python 代碼，需先安裝 Python 插件，再創建 .py 文件並編寫代碼，最後按 Ctrl B 運行代碼，輸出會在控制台中顯示。
Python vs. JavaScript：學習曲線和易用性
Apr 16, 2025 am 12:12 AM
Python更適合初學者，學習曲線平緩，語法簡潔；JavaScript適合前端開發，學習曲線較陡，語法靈活。 1.Python語法直觀，適用於數據科學和後端開發。 2.JavaScript靈活，廣泛用於前端和服務器端編程。
PHP和Python：深入了解他們的歷史
Apr 18, 2025 am 12:25 AM
PHP起源於1994年，由RasmusLerdorf開發，最初用於跟踪網站訪問者，逐漸演變為服務器端腳本語言，廣泛應用於網頁開發。 Python由GuidovanRossum於1980年代末開發，1991年首次發布，強調代碼可讀性和簡潔性，適用於科學計算、數據分析等領域。
Golang vs. Python：性能和可伸縮性
Apr 19, 2025 am 12:18 AM
Golang在性能和可擴展性方面優於Python。 1)Golang的編譯型特性和高效並發模型使其在高並發場景下表現出色。 2)Python作為解釋型語言，執行速度較慢，但通過工具如Cython可優化性能。
vscode在哪寫代碼
Apr 15, 2025 pm 09:54 PM
在 Visual Studio Code（VSCode）中編寫代碼簡單易行，只需安裝 VSCode、創建項目、選擇語言、創建文件、編寫代碼、保存並運行即可。 VSCode 的優點包括跨平台、免費開源、強大功能、擴展豐富，以及輕量快速。
notepad 怎麼運行python
Apr 16, 2025 pm 07:33 PM
在 Notepad 中運行 Python 代碼需要安裝 Python 可執行文件和 NppExec 插件。安裝 Python 並為其添加 PATH 後，在 NppExec 插件中配置命令為“python”、參數為“{CURRENT_DIRECTORY}{FILE_NAME}”，即可在 Notepad 中通過快捷鍵“F6”運行 Python 代碼。
