Cara Menggunakan Apl AI (dengan Large Deps) ke AWS Lambda

Baru-baru ini saya meluangkan masa dua jam mendapatkan apl LlamaIndex ringkas untuk dijalankan pada AWS Lambda. Walaupun fungsi itu sendiri hanya terdiri daripada beberapa baris kod Python (seperti yang ditunjukkan di bawah), mengurus kebergantungan dan penggunaan boleh menjadi rumit.

import json
from llama_index.llms.openai import OpenAI

llm=OpenAI(model="gpt-4o-mini")

def lambda_handler(event, context):
    response = llm.complete("What public transportation might be available in a city?")
    return {
        'statusCode': 200,
        'body': str(response),
    }

Berikut ialah beberapa petua utama yang membantu saya:

Mula-mula, pasang pakej untuk platform yang betul. Adalah penting untuk memasang semua pakej untuk platform sasaran "manylinux2014_x86_64". Jika tidak, pakej tertentu mungkin tidak serasi dengan masa jalan AWS Lambda. Untuk memastikan keserasian, pasang kebergantungan dengan arahan berikut:

pip install -r requirements.txt --platform manylinux2014_x86_64 --target ./deps --only-binary=:all:

Kedua, Lambda mempunyai had 250MB untuk jumlah saiz pakej kod, yang boleh menjadi isu dengan cepat jika anda menggunakan LlamaIndex atau kebergantungan besar yang lain. Jika pakej anda melebihi had ini, semak fail terbesar dalam folder dependensi anda:

du -h -d 2 | sort -hr | head -n20

Dalam kes saya, saya mendapati bahawa direktori panda/ujian mengambil kira-kira 35MB ruang, yang tidak diperlukan untuk fungsi saya, jadi saya mengalih keluarnya untuk mengembalikan saiz pakej dalam had.

rm -r deps/pandas/tests

Kemudian, zip semuanya dan muat naik melalui S3. Selepas memangkas fail yang tidak diperlukan, buat arkib zip yang mengandungi kedua-dua kod dan kebergantungan anda. Memandangkan konsol web Lambda mempunyai had muat naik 50MB, anda perlu memuat naik fail zip yang lebih besar ke baldi S3 dan menggunakan URI S3 untuk menggunakan fungsi tersebut.

zip -r test_lambda.zip data/ lambda_function.py
cd deps/
zip -r ../test_lambda.zip .

Akhir sekali, laraskan tetapan Lambda anda sebelum digunakan. Secara lalai, fungsi Lambda hanya diperuntukkan memori 128MB dan tamat masa 3 saat, yang tidak mencukupi untuk banyak aplikasi AI yang melibatkan kebergantungan besar dan memanggil LLM. Saya akan meningkatkan memori kepada 512MB dan memanjangkan tamat masa kepada 30 saat. Selain itu, jangan lupa untuk menetapkan pembolehubah persekitaran penting seperti Kunci API OpenAI anda.

Saya mengambil masa yang agak lama untuk memikirkan cara yang betul untuk memasang pakej dan menggabungkan semuanya bersama-sama untuk Lambda. AWS Lambda mesra pengguna untuk skrip asas, tetapi apabila anda menambah kebergantungan yang lebih besar, keadaan menjadi lebih rumit.

Berikut ialah urutan terakhir langkah:

# Install dependencies
pip install -r requirements.txt --platform manylinux2014_x86_64 --target ./deps --only-binary=:all:

# Create a zip file for code and data
zip -r test_lambda.zip data/ lambda_function.py

# Include dependencies in the zip file, while removing large unused files
cd deps/
rm -r pandas/tests
zip -r ../test_lambda.zip .

p.s., saya juga cuba menggunakan fungsi serupa pada DBOS Cloud, dan ia hanya mengambil satu arahan:

dbos-cloud app deploy

Dalam DBOS, pengurusan pergantungan dikendalikan secara automatik melalui fail requirements.txt dan pembolehubah persekitaran ditetapkan dalam dbos-config.yaml. Saya mungkin berat sebelah, tetapi saya menikmati kesederhanaan proses penggunaan DBOS Cloud.

Atas ialah kandungan terperinci Cara Menggunakan Apl AI (dengan Large Deps) ke AWS Lambda. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!