Python Process Pool이 동시 TCP 요청을 처리하고 클라이언트가 막히게하는 이유는 무엇입니까?

동시 TCP 요청을 처리하고 클라이언트 재밍을 처리하기위한 Python 프로세스 풀의 근본 원인과 솔루션

이 기사는 Python Process Pool을 사용하여 동시 TCP 요청을 처리하고 효과적인 솔루션을 제공 할 때 클라이언트가 고정 될 수있는 이유를 분석합니다.

문제 : 서버는 multiprocessing.Pool 사용하여 TCP 요청을 처리하기위한 프로세스 풀을 만듭니다. 클라이언트는 ThreadPoolExecutor 사용하여 요청을 동시에 보냅니다. MACOS 시스템에서 클라이언트 스레드 풀 max_workers 가 1보다 클 때 클라이언트가 붙어 있습니다. 그러나 일반적으로 우분투 시스템에서 실행됩니다. 서버 코드는 pool.apply_async 사용하여 작업을 할당하지 않으며 차단 문제가없는 것 같습니다.

근본 원인 : 서버 코드는 socket 객체를 자식 프로세스로 직접 전달합니다. socket 객체를 프로세스간에 직접 공유 할 수 없으므로 socket 객체를 복사하려고 할 때 하위 프로세스가 실패하여 하위 프로세스가 제대로 작동하지 않고 클라이언트 요청을 차단합니다.

솔루션 : socket 객체를 직접 통과하지 말고 파일 설명자 (파일 설명자)를 전달하십시오.

향상된 서버 코드 :

 OS 가져 오기
소켓 수입
SYS 가져 오기
수입 시간
스레딩 가져 오기
Loguru 가져 오기 로거에서
Concurrent에서 Futures import ThreadPoolexecutor를 가져옵니다
Concurrent.Futures._Base 가져 오기 미래
다중 프로세싱 수입

default_encoding : str = 'utf-8'

def init_serversocket () -> socket.socket :
    # ... (코드는 원래 질문 설명과 동일) ... ...

def send_response (clientsocket : socket.socket, addr : tuple, response_body : bytes) -> int :
    # ... (코드는 원래 질문 설명과 동일) ... ...

def start_request (clientsocket_fd : int, addr : tuple) -> int :
    clientsocket = socket.fromfd (clientsocket_fd, socket.af_inet, socket.sock_stream)
    os.close (clientsocket_fd) # 리소스 누출을 방지하기 위해 원본 파일 설명자를 닫으십시오.
        # ... (코드는 원래 질문 설명과 동일) ... ...
    오류로 예외를 제외하고 :
        logger.exception (오류)
    마지막으로:
        clientsocket.close ()

def worker_process (clientsocket_fd, addr) :
    start_request (clientsocket_fd, addr)

__name__ == "__main__"인 경우 :
    serversocket = init_serversocket ()

    pool = multiprocessing.pool (processes = 16)

    사실이지만 :
        노력하다:
            clientsocket, addr = serversocket.accept ()
            clientsocket_fd = clientsocket.fileno ()
            pool.apply_async (worker_process, (clientsocket_fd, addr))
        오류로 예외를 제외하고 :
            logger.exception (오류)

    pool.close ()
    pool.join ()

개선 지침 :

1. start_request 함수는 이제 clientsocket 의 파일 디스크립터 clientsocket_fd 수신합니다.
2. socket.fromfd 함수는 파일 디스크립터를 기반으로 socket 객체를 재구성하여 하위 프로세스가 소켓을 올바르게 작동 할 수 있도록합니다.
3. finally 블록에 clientsocket.close() 를 추가하여 소켓이 올바르게 닫혀 있는지 확인하십시오.
4. worker_process 함수는 clientsocket_fd 처리하고 자식 유출을 피하기 위해 하위 프로세스의 파일 설명자를 닫습니다.

socket 객체 자체 대신 파일 디스크립터를 전달함으로써, 프로세스 간 통신 문제가 해결되어 클라이언트 방해 문제를 피할 수 있습니다. 이 방법은 다중 프로세스 환경에서 TCP 연결을 올바르게 처리 할 수 ​​있도록합니다.

위 내용은 Python Process Pool이 동시 TCP 요청을 처리하고 클라이언트가 막히게하는 이유는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!