Rumah > pembangunan bahagian belakang > Tutorial Python > Sebarkan Model Wajah Memeluk ke AWS Lambda dalam teps

Sebarkan Model Wajah Memeluk ke AWS Lambda dalam teps

Linda Hamilton
Lepaskan: 2024-11-29 21:24:11
asal
820 orang telah melayarinya

Pernah mahu menggunakan model Hugging Face ke AWS Lambda tetapi terperangkap dengan binaan bekas, permulaan sejuk dan cache model? Begini cara melakukannya dalam masa kurang daripada 5 minit menggunakan Scaffoldly.

TL;DR

  1. Buat sistem fail EFS bernama .cache dalam AWS:

    • Pergi ke AWS EFS Console
    • Klik "Buat Sistem Fail"
    • Namakan .cache
    • Pilih mana-mana VPC (Scaffoldly akan menguruskan yang lain!)
  2. Buat apl anda daripada cawangan muka peluk python:

     npx scaffoldly create app --template python-huggingface
    
    Salin selepas log masuk
    Salin selepas log masuk
  3. Sebarkannya:

     cd my-app && npx scaffoldly deploy
    
    Salin selepas log masuk
    Salin selepas log masuk

Itu sahaja! Anda akan mendapat model Hugging Face yang dijalankan pada Lambda (menggunakan openai-community/gpt2 sebagai contoh), lengkap dengan caching dan penempatan kontena yang betul.

Petua Pro: Untuk persediaan EFS, anda boleh menyesuaikannya kepada AZ Tunggal dalam mod Burstable untuk lebih penjimatan kos. Scaffoldly akan memadankan Fungsi Lambda dengan VPC, Subnet dan Kumpulan Keselamatan EFS.

✨ Lihat Demo Langsung dan kod contoh!

Masalahnya

Menggunakan model ML ke AWS Lambda secara tradisinya melibatkan:

  • Membina dan mengurus bekas Docker
  • Memikirkan caching dan penyimpanan model
  • Berurusan dengan had saiz Lambda
  • Menguruskan permulaan sejuk
  • Menyediakan titik akhir API

Memang banyak kerja infrastruktur apabila anda hanya mahu melayan model!

Penyelesaian

Scaffoldly mengendalikan semua kerumitan ini dengan fail konfigurasi yang mudah. Berikut ialah aplikasi lengkap yang menyajikan model Wajah Memeluk (menggunakan openai-community/gpt2 sebagai contoh):

# app.py
from flask import Flask
from transformers import pipeline
app = Flask(__name__)
generator = pipeline('text-generation', model='openai-community/gpt2')
@app.route("/")
def hello_world():
    output = generator("Hello, world,")
    return output[0]['generated_text']
Salin selepas log masuk
Salin selepas log masuk
// requirements.txt
Flask ~= 3.0
gunicorn ~= 23.0
torch ~= 2.5
numpy ~= 2.1
transformers ~= 4.46
huggingface_hub[cli] ~= 0.26
Salin selepas log masuk
Salin selepas log masuk
// scaffoldly.json
{
  "name": "python-huggingface",
  "runtime": "python:3.12",
  "handler": "localhost:8000",
  "files": ["app.py"],
  "packages": ["pip:requirements.txt"],
  "resources": ["arn::elasticfilesystem:::file-system/.cache"],
  "schedules": {
    "@immediately": "huggingface-cli download openai-community/gpt2"
  },
  "scripts": {
    "start": "gunicorn app:app"
  },
  "memorySize": 1024
}
Salin selepas log masuk
Salin selepas log masuk

Bagaimana Ia Berfungsi

Scaffoldly melakukan beberapa perkara bijak di sebalik tabir:

  1. Bangunan Kontena Pintar:

    • Mencipta bekas Docker yang dioptimumkan untuk Lambda secara automatik
    • Mengendalikan semua kebergantungan Python termasuk PyTorch
    • Menolak ke ECR tanpa anda menulis sebarang arahan Docker
  2. Pengendalian Model yang Cekap:

    • Menggunakan Amazon EFS untuk cache fail model
    • Pramuat turun model selepas penggunaan untuk permulaan sejuk yang lebih pantas
    • Memasang cache secara automatik dalam Lambda
  3. Persediaan Sedia Lambda:

    • Melancarkan pelayan WSGI yang betul (gunicorn)
    • Mencipta URL Fungsi Lambda awam
    • URL Fungsi Proksi meminta kepada gunicorn
    • Mengurus peranan dan kebenaran IAM

Apakah rupa penggunaan

Berikut ialah output daripada arahan penggunaan perancah npx yang saya jalankan pada contoh ini:

Deploy Hugging Face Models to AWS Lambda in teps

Prestasi & Kos Dunia Sebenar

Kos: ~$0.20/hari untuk AWS Lambda, ECR dan EFS

Permulaan Dingin: ~20s untuk permintaan pertama (pemuatan model)

Permintaan Hangat: 5-20s (inferens berasaskan CPU)

Walaupun persediaan ini menggunakan inferens CPU (yang lebih perlahan daripada GPU), ia merupakan cara yang sangat menjimatkan kos untuk bereksperimen dengan model ML atau menyediakan titik akhir trafik rendah.

Menyesuaikan untuk Model Lain

Ingin menggunakan model yang berbeza? Hanya kemas kini dua fail:

  1. Tukar model dalam app.py:
 npx scaffoldly create app --template python-huggingface
Salin selepas log masuk
Salin selepas log masuk
  1. Kemas kini muat turun dalam scaffoldly.json:
 cd my-app && npx scaffoldly deploy
Salin selepas log masuk
Salin selepas log masuk

Menggunakan Model Persendirian atau Berpagar

Scaffoldly menyokong model peribadi dan berpagar melalui pembolehubah persekitaran HF_TOKEN. Anda boleh menambah token Memeluk Wajah anda dalam beberapa cara:

  • Pembangunan Tempatan: Tambahkan pada profil shell anda (.bashrc, .zprofile, dll.):
# app.py
from flask import Flask
from transformers import pipeline
app = Flask(__name__)
generator = pipeline('text-generation', model='openai-community/gpt2')
@app.route("/")
def hello_world():
    output = generator("Hello, world,")
    return output[0]['generated_text']
Salin selepas log masuk
Salin selepas log masuk
  • CI/CD: Tambahkan sebagai Rahsia Tindakan GitHub:
// requirements.txt
Flask ~= 3.0
gunicorn ~= 23.0
torch ~= 2.5
numpy ~= 2.1
transformers ~= 4.46
huggingface_hub[cli] ~= 0.26
Salin selepas log masuk
Salin selepas log masuk

Token akan digunakan secara automatik untuk memuat turun dan mengakses model peribadi atau berpagar anda.

Bonus CI/CD

Scaffoldly malah menjana Tindakan GitHub untuk penggunaan automatik:

// scaffoldly.json
{
  "name": "python-huggingface",
  "runtime": "python:3.12",
  "handler": "localhost:8000",
  "files": ["app.py"],
  "packages": ["pip:requirements.txt"],
  "resources": ["arn::elasticfilesystem:::file-system/.cache"],
  "schedules": {
    "@immediately": "huggingface-cli download openai-community/gpt2"
  },
  "scripts": {
    "start": "gunicorn app:app"
  },
  "memorySize": 1024
}
Salin selepas log masuk
Salin selepas log masuk

Cubalah Sendiri

Contoh lengkap tersedia di GitHub:
scaffoldly/scaffoldly-contoh#python-peluk muka

Dan anda boleh membuat salinan anda sendiri bagi contoh ini dengan menjalankan:

generator = pipeline('text-generation', model='your-model-here')
Salin selepas log masuk

Anda boleh melihatnya berjalan secara langsung (walaupun respons mungkin lambat disebabkan inferens CPU):
Demo Langsung

Apa Seterusnya?

  • Cuba gunakan model Memeluk Wajah yang berbeza
  • Sertai Komuniti Scaffoldly di Discord
  • Lihat contoh lain
  • Bintangkan repo kami jika anda mendapati ini berguna!
    • Rantai alat perancah
    • Repositori Contoh Scaffoldly

Lesen

Scaffoldly ialah Sumber Terbuka dan mengalu-alukan sumbangan daripada komuniti.

  • Contohnya dilesenkan dengan lesen Apache-2.0.
  • Rantai alat perancah dilesenkan dengan lesen FSL-1.1-Apache-2.0.

Apakah model lain yang anda mahu jalankan dalam AWS Lambda? Beritahu saya dalam ulasan!

Atas ialah kandungan terperinci Sebarkan Model Wajah Memeluk ke AWS Lambda dalam teps. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan