AWS Lambda에 AI 앱(대규모 Deps 포함)을 배포하는 방법

최근 AWS Lambda에서 실행할 간단한 LlamaIndex 앱을 얻는 데 2시간을 보냈습니다. 함수 자체는 아래 표시된 것처럼 단 몇 줄의 Python 코드로 구성되어 있지만 종속성과 배포를 관리하는 것은 까다로울 수 있습니다.

import json
from llama_index.llms.openai import OpenAI

llm=OpenAI(model="gpt-4o-mini")

def lambda_handler(event, context):
    response = llm.complete("What public transportation might be available in a city?")
    return {
        'statusCode': 200,
        'body': str(response),
    }

도움이 된 몇 가지 주요 팁은 다음과 같습니다.

먼저 올바른 플랫폼에 맞는 패키지를 설치하세요. "manylinux2014_x86_64" 대상 플랫폼에 대한 모든 패키지를 설치하는 것이 중요합니다. 그렇지 않으면 특정 패키지가 AWS Lambda 런타임과 호환되지 않을 수 있습니다. 호환성을 보장하려면 다음 명령을 사용하여 종속성을 설치하십시오.

pip install -r requirements.txt --platform manylinux2014_x86_64 --target ./deps --only-binary=:all:

둘째, Lambda에는 전체 코드 패키지 크기가 250MB로 제한되어 있는데, 이는 LlamaIndex 또는 기타 대규모 종속성을 사용하는 경우 빠르게 문제가 될 수 있습니다. 패키지가 이 제한을 초과하는 경우 종속성 폴더에서 가장 큰 파일을 확인하세요.

du -h -d 2 | sort -hr | head -n20

저의 경우 pandas/tests 디렉토리가 35MB 정도의 공간을 차지하고 있어 제 기능에 불필요한 공간이어서 패키지 크기를 제한 내로 맞추기 위해 제거했습니다.

rm -r deps/pandas/tests

그런 다음 모든 것을 압축하고 S3를 통해 업로드하세요. 불필요한 파일을 잘라낸 후 코드와 종속성을 모두 포함하는 zip 아카이브를 만듭니다. Lambda의 웹 콘솔에는 50MB의 업로드 제한이 있으므로 더 큰 zip 파일을 S3 버킷에 업로드하고 S3 URI를 사용하여 함수를 배포해야 합니다.

zip -r test_lambda.zip data/ lambda_function.py
cd deps/
zip -r ../test_lambda.zip .

마지막으로 배포하기 전에 Lambda 설정을 조정하세요. 기본적으로 Lambda 함수에는 128MB의 메모리와 3초의 제한 시간만 할당됩니다. 이는 대규모 종속성과 호출 LLM을 포함하는 많은 AI 애플리케이션에는 충분하지 않습니다. 메모리를 512MB로 늘리고 시간 초과를 30초로 연장하겠습니다. 또한 OpenAI API 키와 같은 필수 환경 변수를 설정하는 것을 잊지 마세요.

Lambda용으로 패키지를 설치하고 모든 것을 함께 묶는 올바른 방법을 찾는 데 꽤 많은 시도가 필요했습니다. AWS Lambda는 기본 스크립트에 대해 사용자 친화적이지만 더 큰 종속성을 추가하면 상황이 더 복잡해집니다.

마지막 단계 순서는 다음과 같습니다.

# Install dependencies
pip install -r requirements.txt --platform manylinux2014_x86_64 --target ./deps --only-binary=:all:

# Create a zip file for code and data
zip -r test_lambda.zip data/ lambda_function.py

# Include dependencies in the zip file, while removing large unused files
cd deps/
rm -r pandas/tests
zip -r ../test_lambda.zip .

p.s., 저도 DBOS Cloud에 비슷한 기능을 배포해 보았는데, 단 하나의 명령만 사용했습니다.

dbos-cloud app deploy

DBOS에서는 종속성 관리가 요구사항.txt 파일을 통해 자동으로 처리되었으며, 환경 변수는 dbos-config.yaml에서 설정되었습니다. 편견일 수도 있지만 저는 DBOS Cloud의 배포 프로세스가 단순하다는 점을 좋아합니다.

위 내용은 AWS Lambda에 AI 앱(대규모 Deps 포함)을 배포하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!