Skalakan Chatbot Streamlit Stateful dengan AWS ECS dan EFS

Perincian artikel ini menggunakan aplikasi Streamlit berskala dan berstatus pada AWS, menangani cabaran biasa yang dihadapi apabila beralih daripada pembangunan tempatan kepada persekitaran awan pengeluaran. Tumpuan adalah untuk mengatasi had pengurusan keadaan dalam memori lalai Streamlit, yang membawa kepada kehilangan data semasa penyegaran halaman atau pelayan dimulakan semula, terutamanya di bawah beban berat.

Cabaran Kebolehskalaan Streamlit: Streamlit cemerlang dalam pembangunan apl web yang pantas, tetapi pengurusan keadaan dalam memori yang wujud tidak mencukupi untuk penggunaan berasaskan awan berbilang pengguna. Hanya meningkatkan sumber VM ialah penyelesaian rabun yang tidak menangani masalah teras kegigihan data.

Cadangan Seni Bina (AWS): Penyelesaian yang dibentangkan menggunakan seni bina yang teguh untuk mengendalikan kebolehskalaan dan keteraturan:

• Pengimbang Beban Aplikasi (ALB): Mengagihkan trafik masuk secara sekata merentas berbilang kejadian.
• Perkhidmatan Bekas Elastik (ECS) pada Fargate: Menguruskan bekas Docker, membolehkan penskalaan mudah tanpa overhed pengurusan pelayan. Memanfaatkan seni bina arm64 dan peruntukan sumber yang dioptimumkan (0.25vCPU/0.5GB RAM) untuk kecekapan kos.
• Sistem Fail Anjal (EFS): Menyediakan sistem fail berskala dan berterusan, dipasang pada berbilang nod ECS. Ini memastikan lebihan data dan kegigihan merentas Zon Ketersediaan (AZ), menyelesaikan masalah keterkaitan teras.
• CloudFront (pilihan): Meningkatkan prestasi dan menambah keselamatan HTTPS melalui fungsi CDN.

Mengapa Bukan AWS Lambda?: Lambda, walaupun menarik untuk pengkomputeran tanpa pelayan, tidak serasi dengan Streamlit kerana pergantungan Streamlit pada bingkai binari websocket, yang tidak disokong oleh Gateway API Lambda.

EFS lwn. Pilihan Lain: Jadual perbandingan menyerlahkan kelebihan EFS berbanding alternatif seperti RDS, DynamoDB, ElasticCache dan S3, yang menekankan kemudahan persediaan, skalabiliti dan keberkesanan kos untuk khusus ini bekas penggunaan.

Mengatasi Kos Pengimbang Beban: Artikel ini mengakui kos sedia ada ALB tetapi berpendapat bahawa faedahnya (pengedaran trafik, sokongan HTTP/2, penyepaduan AWS) melebihi perbelanjaan, terutamanya dengan mengambil kira kebolehpercayaan dan prestasi yang lebih baik. untuk aplikasi pengeluaran.

Pendekatan Penyelesaian: Kunci kepada penyelesaian ini ialah menggunakan gabungan storan setempat sebelah penyemak imbas (melalui streamlit-local-storage) untuk kunci sesi dan EFS untuk data sesi berterusan. Ini meminimumkan keadaan dalam ingatan sambil memastikan kegigihan data merentas nod ECS dan peristiwa penskalaan. Kesederhanaan pendekatan ini diserlahkan – kod aplikasi teras sebahagian besarnya kekal tidak berubah antara pembangunan tempatan dan penggunaan awan.

Templat Projek dan Pseudokod: Contoh projek chatbot LLM (https://www.php.cn/link/f3a3cc4e1b8b4b0438505c0a38efad9f) disediakan, bersama dengan sesi pseudo how data diuruskan menggunakan pickle untuk siri dan EFS untuk penyimpanan. Kod ini menunjukkan pengambilan dan penyimpanan data sesi berdasarkan ID sesi yang unik, memastikan konsistensi walaupun tugas ECS yang berbeza mengendalikan sesi yang sama.

Langkah Penerapan: Artikel ini menyediakan panduan ringkas untuk menggunakan aplikasi: mengklon repositori, menggunakan timbunan CloudFormation, membina dan menggunakan imej Docker, mengakses chatbot dan (secara tersirat) mendayakan auto- penskalaan untuk kebolehskalaan optimum.

Kesimpulan: Pendekatan ini menawarkan penyelesaian praktikal dan cekap untuk menggunakan aplikasi Streamlit berskala dan berstatus pada AWS, membolehkan pembangun menumpukan pada logik aplikasi dan bukannya pengurusan infrastruktur yang kompleks. Penyelesaian itu mengutamakan kesederhanaan dan keberkesanan kos sambil memastikan ketekunan data dan ketersediaan yang tinggi.

Atas ialah kandungan terperinci Skalakan Chatbot Streamlit Stateful dengan AWS ECS dan EFS. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!