SEO:
- Python Synchronized variable value doesn't change in global context
- Synchronized value not modified in main process
- Synchronized value not shared between processes
在Python的multiprocessing庫裡面,有multiprocessing.sharedctypes.synchronized這個用來在不同進程間共享資料的wrapper類型,預設使用一個重入鎖定RLock來維護資料一致性。在這次重新學習Python之前,我用的是Python 3.6,當時雖然使用過mp庫的一些皮毛,但未曾深入考慮過多進程程序在不同作業系統上的不同行為,以及它們可能的影響。
這次學習時,遇到一個問題:當我在macOS系統用Python 3.12在全域context裡創建一個multiprocessing.sharedctypes.Value變量的時候,如果我在一個新的進程裡訪問這個變量,其值並未在不同進程之間保持同步。和Eric Greene老師討論後,才發現自從Python 3.8以來,不同作業系統的新建進程的方式發生了變化:
- Linux系統總是使用fork來建立新的流程。在fork的時候,父進程的所有資源都被子進程繼承,因此在父進程全局定義的同步變量,同樣可以被子進程訪問,所以數據一致性得以保留
- Windows系統總是使用spawn,也就是建立一個新的Python解釋器程序的方法來實現多進程。相當於「多開」Python,因此overhead更多,效率更低,但是這是Windows系統本身的限制。在這種情況下,子程序只繼承父進程中,用來啟動新進程的run()方法所需的資源。
- macOS系統在Python 3.8以前是使用fork,之後改為使用spawn,因此有些多進程行為發生了改變。 (macOS仍舊可以設定成使用fork,但Python官方不建議)
在我的例子裡面,因為Synchronized變數在父進程的全域聲明,因此在Windows和macOS系統上,它不會被子進程所繼承,因此不同進程之間的值產生差異;而在Linux系統上,所有父行程的資源都被繼承,所以子行程能改變它的值。
這便造成了我所看到的現象:我的程式碼在macOS上全域同步變數沒有改變;而別人的Linux系統則是運作正常,變數在所有行程間同步。
參考閱讀:
- https://docs.python.org/3/library/multiprocessing.html#contexts-and-start-methods
- https://docs.python.org/3/library/multiprocessing.html#multiprocessing.sharedctypes.synchronized
以上是Synchronized 變數在不同作業系統的不同行為的詳細內容。更多資訊請關注PHP中文網其他相關文章!