Python의 동시성과 병렬성

---

예, 여기서 연재를 중단했지만 마케팅 관점에서는 계속 연재하는 것이 더 낫습니다... 계속합니다.

원본 텍스트는 여기에 게시되었습니다.

---

이 텍스트의 목적은 Python 언어의 동시성과 병렬성을 이해하는 데 필요한 기본 개념을 직접적으로 요약하는 것입니다. 주제에 대한 최소한의 배경 지식을 갖고 있거나 이 텍스트를 다른 출처의 연구와 결합하는 것이 좋습니다. 모든 참고문헌은 본문 끝에 있습니다.

다음 주제를 다룰 예정입니다:

• 프로세스란 무엇인가요?
• 스레드란 무엇인가요?
• I/O 바운드와 CPU 바운드는 무엇을 의미하나요?
• Python GIL이란 무엇인가요?
• 경쟁이란 무엇인가요?
• 병렬성이란 무엇인가요?
• asyncio 라이브러리
• 스레딩 라이브러리
• 다중 처리 라이브러리

프로세스란 무엇입니까?

컴퓨팅에서 프로세스는 실행 중인 애플리케이션의 인스턴스입니다. 컴퓨터에서 브라우저와 같은 애플리케이션을 열면 해당 애플리케이션이 일부 프로세스와 연결됩니다. 프로세스는 다음으로 구성됩니다.

• 하드웨어 컨텍스트: 일반 및 CPU별 레지스터의 내용을 저장합니다
• 소프트웨어 컨텍스트: 프로세스에서 할당할 수 있는 리소스를 지정합니다
• 주소 공간: 프로세스가 속한 메모리 영역을 지정

다음 이미지는 Francis Machado와 Luis Maia의 책에서 가져온 것입니다.

프로그램 실행을 위해 꼭 필요한 정보입니다.

스레드란 무엇입니까?

스레드는 프로그램의 서브루틴으로, 운영 체제가 관리하는 가장 작은 실행 단위이자 프로세스의 구성 요소입니다.

가상 프로세스의 다양한 스레드가 메모리와 같은 리소스를 공유하면서 동시에 실행될 수 있습니다(이 내용은 곧 이해하겠습니다). 서로 다른 프로세스는 이러한 리소스를 공유하지 않습니다.

아래 이미지는 Wikipedia에서 가져왔습니다.

위 이미지를 해석하면 프로그램이 디스크(보조, 비휘발성 메모리)에 저장되고 여러 명령이 포함되어 있으며 하나 이상의 프로세스에서 인스턴스화(시작)될 수 있다는 것을 추출할 수 있습니다. 여러 관련 스레드.

I/O 바운드와 CPU 바운드는 무엇을 의미하나요?

이 두 표현은 경쟁에 대한 논의에서 많이 등장하는데, 포르투갈어에서는 I/O(입력/출력), CPU(중앙 처리 장치)와 함께 나타날 수 있습니다.

I/O 바운드 및 CPU 바운드에 대해 이야기할 때 컴퓨터에서 작업이 더 빠르게 실행되는 것을 방해하는 제한 요소에 대해 이야기하며 동일한 코드베이스에서 이 두 가지 작업 유형을 찾을 수 있습니다.

CPU 바인딩 작업은 CPU를 많이 사용하며 CPU 성능이 높을수록 더 빠르게 실행됩니다. 즉, 2GHz에서 4GHz 클럭 속도로 이동하면 이 작업이 더 빠르게 실행될 수 있습니다. 여기서는 많은 계산, 계산을 수행하는 작업에 대해 이야기하고 있습니다. 예를 들어 Pi를 계산하는 방법이 있습니다.

I/O 바운드 작업은 네트워크 속도와 입출력 장치의 속도에 따라 달라집니다. 웹 서버에 요청하거나 디스크에서 파일을 읽는 것은 I/O 바인딩 작업입니다.

두 작업 유형 모두 동시성을 사용하면 이점을 얻을 수 있습니다.

Python의 GIL이란 무엇입니까?

GIL은 전역 인터프리터 잠금(Global Interpreter Lock)을 의미하며, Python 프로세스가 동시에 두 개 이상의 Python 명령어 바이트코드를 실행하는 것을 방지하는 것을 목표로 합니다. 스레드를 실행하려면 GIL을 "획득"해야 하며 한 스레드가 GIL을 보유하는 동안 다른 스레드는 동시에 이를 획득할 수 없습니다. 이는 이 맥락에서 하나 이상의 스레드를 가질 수 없다는 의미는 아닙니다.

여기에서는 Python 참조 구현을 고려하고 있습니다. CPython은 Python의 표준 구현으로, 언어 작동 방식에 대한 참조로 사용됩니다. Jython 또는 IronPython과 같은 다른 구현이 있습니다. GIL은 CPython에 존재하며 최근에야 GIL을 선택적으로 만들자고 제안하는 PEP(Python Enhancement Proposal)가 있었습니다.

GIL의 아이디어는 둘 이상의 스레드가 동시에 Python 객체를 참조해야 할 때 발생할 수 있는 경합 조건을 방지하는 것입니다. 둘 이상의 스레드가 공유 변수를 수정하는 경우 해당 변수는 예상치 못한 상태에 있을 수 있습니다. Matthew Fowler의 책에서 가져온 이미지:

위 이미지에서 두 스레드는 동시에 참조 카운트를 늘리려고 하는데, 카운트가 2가 되는 대신 둘 다 1이 증가하므로 최종 결과는 1이 됩니다(각 스레드는 열입니다).

경쟁이란 무엇입니까?

컴퓨팅 경쟁은 두 작업을 정확히 동시에 실행하지 않고 두 개 이상의 작업을 처리할 때 발생합니다. 주제에 대한 Rob Pyke의 유명한 문구:

경쟁이란 동시에 많은 것을 처리하는 것을 의미합니다. 병렬성은 동시에 많은 일을하는 것입니다.

가상 상황을 생각해 보세요. 케이크 두 개를 만들려면 먼저 오븐을 예열하고 그 동안 첫 번째 케이크를 위한 반죽을 준비하세요. 오븐의 온도가 적절해지면 첫 번째 케이크 반죽을 오븐에 넣고, 케이크가 오븐에서 부풀기를 기다리는 동안 두 번째 케이크 반죽을 준비할 수 있습니다. 경쟁의 개념은 기본적으로 이렇습니다. 유휴 상태, 정체 상태, 중지할 필요가 없으며 작업이 완료되기를 기다리는 동안 전환을 수행하고 작업을 변경할 수 있습니다.

이러한 맥락에서 멀티태스킹에는 두 가지 유형이 있습니다.

• 협력적 멀티태스킹: 이 모델에서는 작업이 전환될 수 있는 지점을 코드에서 설명합니다. Python에서는 하나의 스레드와 하나의 CPU 코어만 사용하는 일반적인 디자인 패턴인 이벤트 루프를 사용하여 이를 달성합니다. 예를 들어 async 및 wait와 함께 asyncio를 사용합니다.
• 선점형 멀티태스킹: 이 모델에서는 운영 체제가 스위치를 처리하도록 합니다. Python에서는 예를 들어 스레딩 lib를 사용하여 둘 이상의 스레드와 하나의 CPU 코어로 이를 달성합니다.

아래 이미지는 Python의 동시성을 요약하는 데 도움이 됩니다.

병렬성이란 무엇입니까?

병렬성은 둘 이상의 작업이 동시에 실행되는 것을 의미합니다. 즉, 병렬성은 동시성(둘 이상의 작업 처리)을 의미하지만 동시성은 병렬성을 의미하지 않습니다(작업이 반드시 동시에 병렬로 실행되는 것은 아닙니다). 병렬 처리가 가능하려면 두 개 이상의 CPU 코어가 필요합니다.

Python에서는 예를 들어 다중 처리 lib를 사용하여 병렬 처리를 달성합니다. 여기서는 각각 고유한 GIL이 있는 둘 이상의 Python 프로세스가 있습니다. 이미지는 Python의 병렬성을 설명하는 데 도움이 됩니다.

비동기오 라이브러리

Python에서는 동시성과 병렬성을 달성하는 다양한 방법이 있으며, 우리가 다루고 있는 작업 유형, I/O 바인딩 또는 CPU 바인딩에 따라 일부 라이브러리를 사용하여 코드를 최적화할 수 있습니다. asyncio는 async 및 wait를 사용하여 동시성을 달성하기 위한 lib입니다. 문서에서:

Asyncio는 고성능 네트워킹 및 웹 서버, 데이터베이스 연결 라이브러리, 분산 작업 대기열 등을 제공하는 여러 비동기 Python 프레임워크의 기반으로 사용됩니다.

상상할 수 있듯이 이 lib는 네트워크 대기 시간, 디스크 쓰기 등의 I/O 바인딩 작업을 최적화하는 데 적합합니다. CPU 바인딩된 작업에서는 대기 시간이 없으며 CPU 계산 속도에만 의존합니다.

스레딩 라이브러리

Python의 스레딩 라이브러리를 사용하면 둘 이상의 스레드를 작동할 수 있습니다. 그러나 우리는 여전히 하나의 CPU 코어와 하나의 Python 프로세스를 처리하며 이는 운영 체제가 우리를 위한 작업 전환. lib는 I/O 바인딩 작업을 최적화하는 데에도 더 유용합니다.

스레딩에 관해 Real Python 웹사이트는 몇 가지 중요한 사항을 제공합니다.

운영 체제는 한 작업이 중지되고 다른 작업이 시작되는 시기를 제어하기 때문에 스레드 간에 공유되는 모든 데이터를 보호하거나 스레드로부터 안전해야 합니다. 불행하게도 request.Session()은 스레드로부터 안전하지 않습니다. 데이터가 무엇인지, 어떻게 사용하는지에 따라 데이터 액세스를 스레드로부터 안전하게 만들기 위한 몇 가지 전략이 있습니다. 그 중 하나는 thread-safe 데이터 구조를 Python 대기열 모듈의 대기열로 사용하는 것입니다.

여기에서 대기열 문서를 찾았습니다.

다중 처리 라이브러리

Python 문서의 다중 처리 lib 정보:

멀티프로세싱은 스레딩 모듈과 유사한 API를 사용하여 프로세스 생성을 지원하는 패키지입니다. 다중 처리 패키지는 로컬 및 원격 동시성을 모두 제공하여 스레드 대신 하위 프로세스를 사용하여 GIL을 효과적으로 우회합니다. 이것이 멀티프로세싱 모듈을 통해 프로그래머가 하나의 시스템에서 여러 프로세서를 활용할 수 있는 이유입니다.

서로 다른 CPU 코어에서 둘 이상의 프로세스를 실행한다고 해서 GIL을 비활성화하는 것이 아니라 각 프로세스가 자체 GIL을 갖게 된다는 점을 지적할 가치가 있습니다. 둘 이상의 CPU 코어를 활용하고 사용 가능한 여러 코어 간에 과도한 CPU 작업 부하를 공유함으로써 lib는 CPU 바인딩에 더 적합합니다.

---

출처:

파울러, 매튜. asyncio를 사용한 Python 동시성. 매닝 출판물, 2022.

마샤도, 프란시스 베린저; 마이아, 루이스 파울로. 운영 체제 아키텍처: SOSIM 시뮬레이터 및 ENADE 질문 연습 포함. 리우데자네이루: LTC, 2013.

Wikipedia의 스레드(컴퓨팅)

Real Python을 통한 동시성으로 Python 프로그램 속도 향상

위 내용은 Python의 동시성과 병렬성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!