首頁 後端開發 Python教學 掌握 Python 並發程式設計:利用先進技術提升效能

掌握 Python 並發程式設計:利用先進技術提升效能

Dec 13, 2024 pm 08:39 PM

Mastering Python

Python 的並發程式設計能力已經顯著發展,為開發人員提供了編寫高效並行程式碼的強大工具。我花了相當多的時間探索這些先進技術,很高興與您分享我的見解。

使用 asyncio 進行非同步程式設計是 I/O 密集型任務的遊戲規則改變者。它允許我們編寫非阻塞程式碼,可以同時處理多個操作,而無需執行緒開銷。這是一個簡單的範例,說明如何使用 asyncio 同時從多個 URL 取得資料:

這段程式碼示範了我們如何建立多個協程來同時從不同的 URL 取得資料。 asyncio.gather() 函數讓我們等待所有協程完成並收集它們的結果。

雖然 asyncio 非常適合 I/O 密集型任務,但它不適合 CPU 密集型操作。為此,我們轉向concurrent.futures模組,它提供了ThreadPoolExecutor和ProcessPoolExecutor。 ThreadPoolExecutor 非常適合不釋放 GIL 的 I/O 密集型任務,而 ProcessPoolExecutor 非常適合 CPU 密集型任務。

以下是使用 ThreadPoolExecutor 並發下載多個檔案的範例:

此程式碼建立一個包含三個工作執行緒的執行緒池,並為每個 URL 提交一個下載任務。 as_completed() 函數允許我們在結果可用時處理,而不是等待所有任務完成。

對於 CPU 密集型任務,我們可以使用 ProcessPoolExecutor 來利用多個 CPU 核心。這是平行計算素數的範例:

此程式碼將查找質數的任務分為四個範圍,並使用單獨的 Python 進程並行處理它們。 map() 函數將 find_primes() 函數應用於每個範圍並收集結果。

當使用多個進程時,我們經常需要在它們之間共用資料。多處理模組為此提供了多種選項,包括共享記憶體和佇列。這是使用共享記憶體數組的範例:

此程式碼建立一個共享記憶體數組,並使用四個行程並行計算數字的平方。共享數組允許所有進程寫入相同的記憶體空間,避免了進程間通訊的需要。

雖然這些技術很強大,但它們也面臨一系列挑戰。競爭條件、死鎖和過多的上下文切換都會影響效能和正確性。仔細設計並發程式碼並在必要時使用適當的同步原語至關重要。

例如,當多個執行緒或行程需要存取共享資源時,我們可以使用Lock來確保執行緒安全:

此程式碼示範了當多個執行緒同時遞增共享計數器時,如何使用鎖定來保護共享計數器免受競爭條件的影響。

另一種先進技術是使用訊號量來控制對有限資源的存取。以下是限制並發網路連線數的範例:

此程式碼使用訊號量將並發網路連線數限制為 10,防止網路或伺服器不堪負荷。

使用並發程式碼時,正確處理異常也很重要。 asyncio 模組為 asyncio.gather() 函式提供了一個 return_exceptions 參數,對此很有用:

此程式碼示範如何在不停止其他任務執行的情況下處理並發任務中的異常。

隨著我們深入研究並發編程,我們會遇到更高級的概念,例如事件循環和協程鏈。這是一個示範如何連結協程的範例:

此程式碼連結了三個協程(fetch_data、process_data 和 save_result),為每個 URL 建立一個管道。然後 asyncio.gather() 函數同時運行這些管道。

在處理長時間運行的任務時,通常需要實作取消和逾時機制。這是一個示範兩者的範例:

此程式碼啟動五個長時間運行的任務,但設定所有任務的逾時時間為 5 秒才能完成。如果達到逾時,則會取消所有剩餘任務。

總之,Python 的同時程式設計功能提供了廣泛的工具和技術來編寫高效的平行程式碼。從使用 asyncio 的非同步程式設計到 CPU 密集型任務的多處理,這些先進技術可以顯著提高應用程式的效能。然而,了解基本概念、為每項任務選擇正確的工具以及仔細管理共享資源和潛在的競爭條件至關重要。透過實作和精心設計,我們可以利用 Python 中並發程式設計的全部功能來建立快速、可擴展且快速回應的應用程式。


我們的創作

一定要看看我們的創作:

投資者中心 | 智能生活 | 時代與迴響 | 令人費解的謎團 | 印度教 | 精英開發 | JS學校


我們在媒體上

科技無尾熊洞察 | 時代與迴響世界 | 投資人中央媒體 | 令人費解的謎團 | | 令人費解的謎團 | >科學與時代媒介 |

現代印度教

以上是掌握 Python 並發程式設計:利用先進技術提升效能的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱門文章

兩個點博物館:邦格荒地地點指南
4 週前 By 尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱門文章

兩個點博物館:邦格荒地地點指南
4 週前 By 尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱門文章標籤

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

我如何使用美麗的湯來解析HTML? 我如何使用美麗的湯來解析HTML? Mar 10, 2025 pm 06:54 PM

我如何使用美麗的湯來解析HTML?

python中的圖像過濾 python中的圖像過濾 Mar 03, 2025 am 09:44 AM

python中的圖像過濾

如何在Python中下載文件 如何在Python中下載文件 Mar 01, 2025 am 10:03 AM

如何在Python中下載文件

如何使用Python查找文本文件的ZIPF分佈 如何使用Python查找文本文件的ZIPF分佈 Mar 05, 2025 am 09:58 AM

如何使用Python查找文本文件的ZIPF分佈

如何使用Python使用PDF文檔 如何使用Python使用PDF文檔 Mar 02, 2025 am 09:54 AM

如何使用Python使用PDF文檔

燒瓶的簡介:添加聯繫頁面 燒瓶的簡介:添加聯繫頁面 Feb 28, 2025 am 10:03 AM

燒瓶的簡介:添加聯繫頁面

如何在django應用程序中使用redis緩存 如何在django應用程序中使用redis緩存 Mar 02, 2025 am 10:10 AM

如何在django應用程序中使用redis緩存

如何使用TensorFlow或Pytorch進行深度學習? 如何使用TensorFlow或Pytorch進行深度學習? Mar 10, 2025 pm 06:52 PM

如何使用TensorFlow或Pytorch進行深度學習?

See all articles