.ebextensions를 통해 Elastic Beanstalk에 Supervisord를 사용하여 Celery Worker를 설정합니다.-파이썬 튜토리얼-php.cn

Setup Celery Worker with Supervisord on elastic beanstalk via .ebextensions

소개: 확장 가능한 애플리케이션의 중추

강력하고 확장 가능한 애플리케이션을 구축한다는 것은 효율적으로 처리할 수 있는 단일 서버 또는 스레드 이상이 필요한 작업을 처리하는 것을 의미하는 경우가 많습니다. 이미지 처리, 이메일 전송, 데이터 사용량이 많은 계산 수행 등 이러한 작업을 작업 대기열로 오프로드하는 것이 모범 사례입니다. AI 기반 인포그래픽 생성기인 Text2Infographic의 과제는 분명했습니다. 원활한 사용자 경험을 유지하면서 수많은 동시 작업 제출을 효율적으로 처리해야 했습니다. 이로 인해 저는 강력한 분산 작업 대기열인 Celery와 프로세스 관리 시스템인 Supervisord를 모두 AWS Elastic Beanstalk에 원활하게 배포하게 되었습니다. .ebextensions.

다음은 Elastic Beanstalk에서 Supervisord를 사용하여 Celery 작업자를 설정하는 방법에 대한 단계별 가이드입니다. 하지만 먼저 이 설정의 주요 구성 요소와 이것이 필수적인 이유를 살펴보겠습니다.

셀러리 란 무엇입니까?

핵심적으로 Celery는 시간이 많이 걸리는 작업을 별도의 프로세스나 서버로 오프로드할 수 있는 분산 작업 대기열 시스템입니다. Python 애플리케이션에서 백그라운드 작업을 비동기적으로 또는 일정에 따라 실행하는 데 널리 사용됩니다. Text2Infographic의 경우 Celery는 사용자 입력에서 맞춤형 인포그래픽을 생성하는 계산 집약적인 프로세스를 처리하기 위한 완벽한 솔루션이었습니다.

Celery 사용의 몇 가지 이점:

비동기 실행: 기본 애플리케이션을 차단하지 않고 백그라운드에서 작업을 실행할 수 있습니다.
확장성: 작업자를 쉽게 추가하여 증가된 부하를 처리할 수 있습니다.
확장성: RabbitMQ 또는 Redis와 같은 다양한 메시지 브로커와 통합됩니다.

감독자 란 무엇입니까?

Celery 작업자와 같은 프로세스를 수동으로 관리하는 것은 번거로울 수 있으며, 특히 충돌 후나 배포 중에 프로세스를 자동으로 다시 시작해야 하는 경우에는 더욱 그렇습니다. Supervisord는 프로세스를 감시하고 지속적인 실행을 보장하여 이 문제를 해결하는 경량 프로세스 제어 시스템입니다.

Supervisord를 사용하면 다음을 수행할 수 있습니다.

Celery 작업자가 실패하면 자동으로 다시 시작합니다.
단일 구성 파일로 프로세스 관리를 단순화하세요.
더 나은 디버깅 및 모니터링을 위해 프로세스 활동을 기록합니다.

AWS Elastic Beanstalk란 무엇입니까?

AWS Elastic Beanstalk는 애플리케이션 배포, 확장 및 관리를 자동화하는 완전관리형 서비스입니다. 이는 인프라 관리의 복잡성을 대부분 추상화하므로 개발자는 서버 구성 대신 코드 작성에 집중할 수 있습니다. Elastic Beanstalk는 간단한 웹 서버부터 Celery 작업자와 같은 보다 복잡한 설정까지 다양한 환경을 지원합니다.

Text2Infographic의 경우 Elastic Beanstalk의 확장성과 단순성은 매우 중요했습니다. 사용자 수요가 변동함에 따라 작업자 인스턴스를 동적으로 확장하는 기능을 통해 피크 시간에도 작업을 효율적으로 처리할 수 있습니다.

.eb확장자란 무엇입니까?

.ebextensions는 배포 중에 환경을 사용자 정의할 수 있는 Elastic Beanstalk의 기능입니다. .ebextensions 구성 파일을 사용하면 다음을 수행할 수 있습니다.

필요한 소프트웨어와 종속성을 설치합니다.
Supervisord 및 Celery 작업자와 같은 서비스를 구성합니다.
환경변수를 추가하고 권한을 관리해보세요.
이를 통해 배포할 때마다 수동 개입 없이 Celery와 Supervisord를 Elastic Beanstalk 배포에 원활하게 통합할 수 있습니다.

Text2Infographic에 셀러리가 필요한 이유는 무엇입니까?

Text2Infographic은 마케팅 담당자와 콘텐츠 제작자가 블로그 게시물을 멋진 인포그래픽으로 변환하는 데 도움을 주기 위해 설계되었습니다. 각 인포그래픽 생성 요청은 AI 기반 주제 연구, 디자인 최적화, 벡터 그래픽 소싱 등 컴퓨팅 집약적입니다. 원활한 사용자 경험을 유지하려면 이러한 작업을 여러 요청을 동시에 처리할 수 있는 백그라운드 작업자에게 오프로드해야 합니다. Celery의 비동기 작업 처리 및 확장성으로 인해 Celery가 당연한 선택이 되었습니다.

왜 감독자인가?

Elastic Beanstalk는 기본적으로 웹 서버를 관리할 수 있지만 Celery 작업자와 같은 백그라운드 프로세스에 대한 기본 지원은 없습니다. 감독자를 입력하십시오. 이는 Celery 작업자 프로세스의 감독자 역할을 하여 지속적으로 실행되고 실패할 경우 자동으로 다시 시작되도록 합니다. 이러한 신뢰성은 인포그래픽 생성 요청을 중단 없이 처리하는 데 매우 중요합니다.

단계 설정을 마치고 Elastic Beanstalk에서 Celery, Supervisord 및 eb_extensions를 구성하여 애플리케이션을 위한 확장 가능하고 효율적인 작업 대기열을 생성하는 기술 세부 사항을 살펴보겠습니다.

단계별: Elastic Beanstalk에서 Supervisord를 사용하여 Celery 설정

이 섹션에서는 Elastic Beanstalk에서 Supervisord로 Celery를 설정하는 데 필요한 .ebextensions 파일을 살펴보겠습니다. 각 단계는 일반적인 함정을 피하는 데 도움이 되는 팁과 함께 자세히 설명되어 있습니다.

1. Supervisord 설치
파일: 01_install_supervisord.config

이 파일은 Supervisord를 설치하고 프로세스를 안전하게 실행하기 위해 루트가 아닌 사용자를 설정합니다.

commands:
  01_install_pip:
    command: "yum install -y python3-pip"
    ignoreErrors: true
  02_install_supervisor:
    command: "/usr/bin/pip3 install supervisor"
  03_create_nonroot_user:
    command: "useradd -r -M -s /sbin/nologin nonrootuser || true"
    ignoreErrors: true

로그인 후 복사

설명:

pip 설치: Python의 패키지 관리자를 사용할 수 있는지 확인합니다.
Supervisor 설치: pip를 사용하여 가볍고 강력한 프로세스 관리자인 Supervisord를 설치합니다.
루트가 아닌 사용자 생성: 로그인 쉘이나 홈 디렉터리가 없는 제한된 사용자(루트가 아닌 사용자)를 추가합니다. 루트가 아닌 사용자로 프로세스를 실행하는 것이 보안 모범 사례입니다.

? 팁: 반복 배포 중에 명령이 실패할 수 있는 경우 항상ignoreErrors: true를 사용하세요. 이렇게 하면 사용자 또는 패키지가 이미 존재하는 경우 배포가 실패하지 않습니다.

2. 오래된 프로세스 정리
파일: 02_cleanup_existing_supervisord.config

이 파일은 배포 사이에 남아 있을 수 있는 이전 Supervisord 인스턴스와 소켓 파일의 정리를 처리합니다.

commands:
  kill_existing_supervisord:
    command: "pkill supervisord || true"
    ignoreErrors: true
  remove_stale_socket:
    command: "rm -f /tmp/supervisor.sock"
    ignoreErrors: true

로그인 후 복사

설명:

기존 Supervisord 종료: 길 잃은 Supervisord 프로세스가 실행되고 있지 않은지 확인합니다. || true 부분은 프로세스가 발견되지 않은 경우 이 명령이 오류를 발생시키지 않도록 보장합니다.
오래된 소켓 제거: Supervisord가 시작되지 못하게 할 수 있는 오래된 Supervisord 소켓 파일을 삭제합니다.

? 팁: 배포 시 때때로 이전 구성의 잔재가 남을 수 있는 Elastic Beanstalk와 같은 환경에서는 소켓과 프로세스를 정리하는 것이 필수적입니다.

3. Supervisord로 Celery 구성
파일: 03_celery_configuration.config

이 파일은 Supervisord 구성 파일을 생성하고 Celery 작업자 프로세스를 시작합니다.

files:
  "/etc/supervisord.conf":
    mode: "000644"
    owner: root
    group: root
    content: |
      [unix_http_server]
      file=/tmp/supervisor.sock
      chmod=0770
      chown=root:nonrootuser

      [supervisord]
      logfile=/var/log/supervisord.log
      logfile_maxbytes=50MB
      logfile_backups=10
      loglevel=info
      pidfile=/tmp/supervisord.pid
      nodaemon=false
      minfds=1024
      minprocs=200
      user=root

      [rpcinterface:supervisor]
      supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

      [supervisorctl]
      serverurl=unix:///tmp/supervisor.sock

      [program:celery]
      command=celery -A application.celery worker --loglevel=INFO
      directory=/var/app/current
      autostart=true
      autorestart=true
      startsecs=10
      stopwaitsecs=600
      stdout_logfile=/var/log/celery_worker.log
      stderr_logfile=/var/log/celery_worker.err.log
      environment=PATH="/var/app/venv/staging-LQM1lest/bin:$PATH"
      user=nonrootuser

로그인 후 복사

설명:

제어용 Unix 소켓: unix_http_server 섹션은 Supervisord와 상호 작용하기 위한 보안 소켓을 생성합니다.
로깅: 로그는 /var/log/supervisord.log에 저장되며, 디스크 사용량이 통제할 수 없을 정도로 늘어나는 것을 방지하기 위한 순환 정책이 적용됩니다.
셀러리 프로그램 블록:
명령: 애플리케이션 구성으로 Celery 작업자를 실행합니다.
자동 시작 및 자동 재시작: Celery가 배포 시 자동으로 시작되고 실패할 경우 다시 시작되도록 합니다.
로그: Celery의 출력을 /var/log/celery_worker.log 및 /var/log/celery_worker.err.log에 기록합니다.
환경: 올바른 Python 가상 환경이 사용되는지 확인합니다.

? 팁: 디렉토리=/var/app/current를 사용하여 Supervisord가 Elastic Beanstalk 배포마다 업데이트되는 애플리케이션의 배포 디렉터리를 가리키도록 합니다.

4. 슈퍼바이저 시작
파일: 03_celery_configuration.config(계속)

container_commands:
  01_start_supervisor:
    command: "supervisord -c /etc/supervisord.conf"

로그인 후 복사

설명:

컨테이너 명령: 애플리케이션이 배포된 후 환경이 준비된 것으로 표시되기 전에 실행됩니다. 여기에서 Supervisord를 시작하면 앱이 활성화될 때 Celery 작업자가 실행됩니다.

? 팁: Elastic Beanstalk는 컨테이너 명령을 알파벳 순서로 처리하므로 명령 앞에 01_과 같은 숫자를 붙여 실행 순서를 제어하세요.

eb_extensions를 사용한 재미있는 트릭

손쉬운 디버깅: 문제가 발생하면 임시 컨테이너 명령을 추가하여 환경 변수를 인쇄하거나 디렉터리 내용을 나열하세요.

commands:
  01_install_pip:
    command: "yum install -y python3-pip"
    ignoreErrors: true
  02_install_supervisor:
    command: "/usr/bin/pip3 install supervisor"
  03_create_nonroot_user:
    command: "useradd -r -M -s /sbin/nologin nonrootuser || true"
    ignoreErrors: true

로그인 후 복사

/var/log/eb-activity.log에서 로그를 확인하세요.

공통 구성 재사용: 공유 구성 스니펫을 별도의 YAML 파일에 저장한 다음 include 지시문을 사용하여 여러 .ebextensions 파일에 포함합니다(비공식적으로 지원됨).

이 설정을 통해 Celery 작업자는 Supervisord를 통해 효율적으로 관리되고 Elastic Beanstalk 애플리케이션과 함께 확장됩니다. 인포그래픽 생성을 처리하든 다른 백그라운드 작업을 처리하든 이 접근 방식은 안정성, 확장성 및 마음의 평안을 제공합니다.

위 내용은 .ebextensions를 통해 Elastic Beanstalk에 Supervisord를 사용하여 Celery Worker를 설정합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!