Python GIL 없이 고성능 멀티스레딩을 위한 관문

소개

Python은 사용하기 쉽고 다재다능한 것으로 오랫동안 알려져 왔습니다. 그러나 Python 커뮤니티에서 많은 논의를 불러일으킨 주제 중 하나는 GIL(Global Interpreter Lock)입니다. GIL은 Python의 동시성 모델, 특히 여러 CPU 코어를 활용할 수 있는 CPU 바인딩 작업에 대한 보호 장치이자 병목 현상이었습니다. 그러나 Python 3.13이 출시되면서 Python 개발자는 GIL을 비활성화하는 기능이라는 획기적인 새 옵션을 갖게 되었습니다. 이 블로그에서는 GIL이 무엇인지, 멀티스레딩 성능에 장애물이 된 이유, 진정한 멀티스레딩 성능을 잠금 해제하기 위해 Python 3.13에서 GIL을 감지하고 비활성화하는 방법을 살펴보겠습니다.

GIL(Global Interpreter Lock)이란 무엇입니까?

GIL(Global Interpreter Lock)은 Python 객체에 대한 액세스를 보호하는 뮤텍스로, 여러 네이티브 스레드가 Python 바이트코드를 동시에 실행하지 못하도록 방지합니다. 이는 Python 프로그램의 스레드 안전성을 보장하지만 동시 실행 비용이 발생합니다. GIL은 I/O 바인딩 작업에 대해 Python 스레드를 더 효율적으로 만들지 만 CPU 바인딩 작업에 대한 성능을 제한합니다.

GIL이 멀티스레딩에 병목 현상을 일으키는 이유

Python의 GIL을 사용하면 다중 스레드 프로그램에서도 하나의 스레드만 동시에 실행할 수 있습니다. 이는 프로그램이 입력/출력 작업을 기다리는 I/O 중심 작업에는 문제가 없지만 숫자 처리, 데이터 분석 또는 이미지 처리와 같은 CPU 중심 작업의 성능을 심각하게 제한합니다.

Python 3.13: GIL을 비활성화한 상태에서 멀티스레딩 잠금 해제

Python 3.13을 사용하면 개발자는 Python 빌드 프로세스 중에 GIL을 비활성화할 수 있습니다. 그러나 사전 빌드된 Python 배포판에서는 GIL을 비활성화할 수 없습니다. 대신 --disable-gil 옵션을 사용하여 소스에서 Python 3.13을 컴파일해야 합니다.

이 새로운 옵션은 CPU 바인딩된 멀티스레드 작업에서 진정한 병렬 처리의 문을 열어 스레드가 여러 코어에서 병렬로 실행될 수 있게 해줍니다.

GIL 없이 Python 3.13을 사용하기 위한 전제 조건

• Python 3.13 소스 코드: 사전 빌드된 표준 바이너리에서는 GIL을 비활성화할 수 없습니다. --disable-gil 플래그를 사용하여 소스에서 Python 3.13을 빌드해야 합니다.
• 멀티 코어 CPU: 이제 스레드가 여러 코어에서 병렬로 실행되므로 진정한 멀티스레딩의 이점을 활용하려면 멀티 코어 CPU가 필요합니다.

GIL을 비활성화한 상태에서 Python 3.13 컴파일하기

-X gil=0 플래그를 사용하여 GIL을 비활성화하려면 --disable-gil 플래그를 활성화하여 소스에서 Python을 컴파일해야 합니다. 방법은 다음과 같습니다

단계별

• Python 3.13 소스 코드 다운로드 먼저 공식 Python 웹사이트에서 Python 3.13 소스 코드 tarball을 다운로드해야 합니다. 이는 미리 빌드된 바이너리(python.org에서 직접 다운로드한 것과 같은)가 GIL 비활성화를 지원하도록 컴파일되지 않았기 때문입니다. 웹 브라우저를 사용하거나 wget을 사용하거나 터미널에서 컬을 사용하여 다운로드할 수 있습니다.

wget https://www.python.org/ftp/python/3.13.0/Python-3.13.0.tgz

• 소스 추출:

tar -xf Python-3.13.0.tgz
cd Python-3.13.0

• --disable-gil을 사용하여 빌드 구성 GIL 비활성화 옵션을 지원하려면 --disable-gil을 사용하여 Python을 구성해야 합니다.

./configure --disable-gil

• Python 컴파일 및 설치:

make
sudo make altinstall 

• altinstall 단계가 실패하면 --prefix를 사용하여 구성 명령을 다시 실행하세요.

./configure --disable-gil --prefix=$HOME/python3.13

• 지정된 디렉터리에서 make altinstall을 실행하세요. 그런 다음 make altinstall 명령을 실행하십시오.

make altinstall

Python 3.13에서 GIL을 감지하는 방법

Python 3.13에서는 sys._is_gil_enabled() 함수를 사용하여 GIL의 활성화 또는 비활성화 여부를 확인할 수 있습니다.

import sys

def check_gil_status():
    if sys.version_info >= (3, 13):
        status = sys._is_gil_enabled()
        if status:
            print("GIL is currently enabled.")
        else:
            print("GIL is currently disabled.")
    else:
        print("Python version does not support GIL status detection.")

check_gil_status()

실습: GIL과 GIL-Free를 사용한 Python 멀티스레딩

다음 Python 코드는 Python 3.13에서 GIL을 비활성화할 때의 성능 향상을 평가하기 위해 개발되었습니다. 스크립트는 8개의 스레드를 동시에 실행하며, 각 스레드는 큰 숫자의 소인수 계산을 담당합니다. 진정한 병렬성을 활용함으로써 코드는 GIL 없이 달성된 향상된 성능을 강조합니다.

#!/usr/bin/env python3
import sys
import sysconfig
import time
from threading import Thread
from multiprocessing import Process


# Decorator to measure execution time of functions
def calculate_execution_time(func):
    def wrapper(*args, **kwargs):
        start_time = time.perf_counter()
        result = func(*args, **kwargs)
        end_time = time.perf_counter()
        execution_time = end_time - start_time
        print(f"{func.__name__} took {execution_time:.4f} seconds.")
        return result

    return wrapper


# Compute-intensive task: Iterative Fibonacci calculation
def compute_fibonacci(n):
    """Compute Fibonacci number for a given n iteratively."""
    a, b = 0, 1
    for _ in range(n):
        a, b = b, a + b
    return a


# Single-threaded task execution
@calculate_execution_time
def run_single_threaded(nums):
    for num in nums:
        compute_fibonacci(num)


# Multi-threaded task execution
@calculate_execution_time
def run_multi_threaded(nums):
    threads = [Thread(target=compute_fibonacci, args=(num,)) for num in nums]
    for thread in threads:
        thread.start()
    for thread in threads:
        thread.join()


# Multi-processing task execution
@calculate_execution_time
def run_multi_processing(nums):
    processes = [Process(target=compute_fibonacci, args=(num,)) for num in nums]
    for process in processes:
        process.start()
    for process in processes:
        process.join()


# Main execution function
def main():
    # Check Python version and GIL status for Python 3.13+
    print(f"Python Version: {sys.version}")

    py_version = float(".".join(sys.version.split()[0].split(".")[:2]))
    status = sysconfig.get_config_var("Py_GIL_DISABLED")

    if py_version >= 3.13:
        status = sys._is_gil_enabled()

    if status is None:
        print("GIL cannot be disabled for Python <= 3.12")
    elif status == 0:
        print("GIL is currently disabled")
    elif status == 1:
        print("GIL is currently active")

    # Run tasks on the same input size for comparison
    nums = [300000] * 8

    print("\nRunning Single-Threaded Task:")
    run_single_threaded(nums)

    print("\nRunning Multi-Threaded Task:")
    run_multi_threaded(nums)

    print("\nRunning Multi-Processing Task:")
    run_multi_processing(nums)


if __name__ == "__main__":
    main()

분석:

## Python 3.13 with GIL Disabled
Python Version: 3.13.0 experimental free-threading build (main, Oct 14 2024, 17:09:28) [Clang 14.0.0 (clang-1400.0.29.202)]
GIL is currently disabled

Running Single-Threaded Task:
run_single_threaded took 8.6587 seconds.

Running Multi-Threaded Task:
run_multi_threaded took 1.3885 seconds.

Running Multi-Processing Task:
run_multi_processing took 1.5953 seconds.

## Python 3.13 with GIL Enabled
Python Version: 3.13.0 experimental free-threading build (main, Oct 14 2024, 17:09:28) [Clang 14.0.0 (clang-1400.0.29.202)]
GIL is currently active

Running Single-Threaded Task:
run_single_threaded took 8.7108 seconds.

Running Multi-Threaded Task:
run_multi_threaded took 8.6645 seconds.

Running Multi-Processing Task:
run_multi_processing took 1.4530 seconds.

## Python 3.12 
Python Version: 3.12.6 (main, Sep  7 2024, 19:30:10) [Clang 14.0.0 (clang-1400.0.29.202)]
GIL cannot be disabled for Python <= 3.12

Running Single-Threaded Task:
run_single_threaded took 8.7004 seconds.

Running Multi-Threaded Task:
run_multi_threaded took 8.6297 seconds.

Running Multi-Processing Task:
run_multi_processing took 1.4876 seconds.

멀티 스레드 성능: GIL 비활성화의 실제 이점은 멀티 스레드 시나리오에서 분명하게 드러납니다.

GIL이 비활성화된 경우(3.13) 실행 시간은 1.5703초입니다.
GIL이 활성화된 경우(3.13) 실행 시간은 8.5901초입니다.
결과: GIL을 비활성화하면 멀티스레드 작업의 성능이 약 81.7% 향상되었습니다.

차트는 Python 3.13에서 GIL을 비활성화하면 멀티 스레드 CPU 바인딩 작업의 성능이 크게 향상되어 Python이 여러 CPU 코어를 병렬로 효율적으로 활용할 수 있음을 명확하게 보여줍니다. 단일 스레드 및 다중 처리 성능은 크게 영향을 받지 않지만 다중 스레드 성능은 상당한 개선을 보여 Python 3.13이 다중 스레딩에 의존하는 CPU 집약적 애플리케이션의 판도를 바꾸는 획기적인 제품이 되었습니다.

그러나 3.13 이전의 Python 버전은 GIL 비활성화를 지원하지 않습니다. 이는 다중 스레드 성능이 GIL이 활성화된 Python 3.13의 성능과 유사하게 유지되는 이유를 설명합니다. 이전 버전의 이러한 제한으로 인해 CPU 바인딩 작업에 대해 멀티스레딩을 완전히 활용하는 Python의 기능이 계속해서 제한됩니다.

GIL을 비활성화하기 전 주요 고려 사항

Python 3.13에서 GIL(Global Interpreter Lock)을 비활성화하면 멀티 스레드 CPU 바인딩 작업에서 상당한 성능 향상을 얻을 수 있습니다. 그러나 그렇게 하기 전에 고려해야 할 몇 가지 중요한 요소가 있습니다:

• 스레드 안전성: GIL이 없으면 코드의 경합 상태를 방지하기 위해 잠금이나 기타 동기화 메커니즘을 사용하여 스레드 안전성을 수동으로 처리해야 합니다.

• 잠재적 성능 저하: 세분화된 잠금은 경합을 야기할 수 있으며, 이로 인해 이전에 GIL의 이점을 누렸던 단일 스레드 또는 I/O 바인딩 작업의 성능이 저하될 수 있습니다.

• 타사 라이브러리와의 호환성: 많은 C 확장 및 라이브러리는 스레드 안전을 위해 GIL이 있다고 가정합니다. GIL을 비활성화하면 이러한 라이브러리가 다중 스레드 환경에서 올바르게 작동하도록 업데이트해야 할 수도 있습니다.

• 복잡한 메모리 관리: GIL을 비활성화하면 메모리 관리가 더욱 복잡해지며 스레드로부터 안전한 메모리 처리가 필요하므로 버그와 오류의 위험이 높아질 수 있습니다.

• I/O 바인딩된 작업: GIL을 비활성화하면 asyncio와 같은 비차단 I/O 메커니즘이 더 효과적일 수 있는 I/O 바인딩 작업에 제한된 이점을 제공합니다.

• 디버깅의 어려움: GIL이 없으면 경쟁 조건 및 교착 상태 가능성이 높아져 멀티스레드 애플리케이션 디버깅이 더욱 어려울 수 있습니다.

• 더 높은 메모리 사용량: GIL 없이 잠금을 사용하고 스레드 상태를 관리하면 특히 멀티 스레드 애플리케이션에서 메모리 소비가 늘어날 수 있습니다.

• 임베디드 시스템: GIL을 비활성화하면 Python과 임베디드 시스템의 멀티스레드 환경 통합이 복잡해질 수 있으며 효과적인 통합을 위해 더 많은 노력이 필요할 수 있습니다.

• 잠금 경합: 경우에 따라 GIL을 비활성화하면 스레드 간 잠금 경합이 발생하여 예상되는 성능 향상이 줄어들 수 있습니다.

GitHub 저장소

내 GitHub의 이 블로그에서 예제의 전체 소스 코드를 찾을 수 있습니다.

Python GIL 성능 분석

부인 성명:

개인 블로그입니다. 여기에 표현된 견해와 의견은 작성자의 견해일 뿐이며 작성자와 직업적으로나 개인적으로 연관되어 있는 조직이나 개인의 견해와 의견을 대표하지 않습니다.

위 내용은 Python GIL 없이 고성능 멀티스레딩을 위한 관문의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!