大規模なデータ構造は Python のマルチプロセッシングで共有またはコピーされますか?

マルチプロセッシングにおける共有メモリ

Python のマルチプロセッシング モジュールでは、大規模なデータ構造がプロセス間で共有されるかコピーされるかという問題が懸念されます。

元の懸念事項

multiprocessing.Process を使用して複数のプロセスを作成し、大きなリストを引数として渡す場合、懸念事項は、これらのリストがプロセスごとにコピーされるのか、プロセス間で共有されるのかということです。彼ら。各プロセスがコピーを作成すると、メモリ使用量が大幅に増加する可能性があります。

コピーオンライト

Linux はコピーオンライトのアプローチを使用します。これは、次のことを意味します。データは変更されるまで物理的にコピーされません。これは、サブプロセスごとにリストが重複しないことを示唆しています。

参照カウント

ただし、オブジェクトにアクセスすると、その参照カウントが更新されます。サブプロセスがリスト要素にアクセスすると、その参照カウントが増加します。その結果、オブジェクト全体 (リスト) がコピーされるかどうかは不明です。

メモリ使用量の監視

観察によると、オブジェクト全体が実際には次のようになります。おそらく参照カウントが原因で、サブプロセスごとに複製されます。リストが変更できず、リストの参照カウントが常に正の場合、これは問題になります。

Python 3.8.0 の共有メモリ

Python 3.8.0 では 'true' が導入されています。 multiprocessing.shared_memory モジュールを使用した共有メモリ。これにより、コピーせずに複数のプロセスからアクセスできる共有メモリ オブジェクトを明示的に作成できます。

要約すると、Linux のコピーオンライト アプローチは大規模なデータ構造をコピーする可能性を減らしますが、参照カウントにより、実際のコピーにつながります。 Python 3.8.0 で「真の」共有メモリを使用すると、明示的に共有オブジェクトを作成するメカニズムが提供されるため、この問題は解決されます。

以上が大規模なデータ構造は Python のマルチプロセッシングで共有またはコピーされますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。