Sebab Apl FastAPI (atau Flask) anda berprestasi buruk dengan beban yang tinggi

Pertama sekali, minta maaf atas umpan tajuk?, tetapi saya telah menyelesaikan masalah ini malam tadi dan saya masih di bawah kesan tergesa-gesa dopamin. Saya hanya perlu berkongsi ini.

Teks ini ditujukan untuk pembangun peringkat permulaan atau saintis Data (bukan jurutera perisian Python kanan) dan saya akan menulis ini sebagai naratif, atau dengan kata lain urutan kronologi peristiwa semasa ia berlaku, bukannya "kertas teknikal (berstruktur dalam masalah, penyelesaian, perbincangan). Saya suka pendekatan ini kerana ia menunjukkan bagaimana perkara berlaku dalam kehidupan sebenar.

Pertimbangan Awal

Ujian ini dilakukan pada GCP Cloud Run menggunakan pemproses tunggal dan mesin RAM 512M, dan kami menggunakan Locust, alat yang luar biasa (untuk Python, LoL).

Selain itu, jika anda sudah menghadapi masalah prestasi pada permintaan tunggal pada Posman, saya amat mengesyorkan anda melihat repo ini yang dikhususkan untuk meningkatkan prestasi FastAPI daripada kisspeter dan yang ini daripada LoadForge.

Pusingan Ujian Pertama

Menggunakan satu permintaan dalam Postman, selepas Cloud Run bermula, saya mendapat masa tindak balas sekitar 400ms. Bukan yang terbaik, tetapi benar-benar dalam julat yang boleh diterima.

Ujian beban kami agak mudah: membaca, menulis dan memadam dalam satu jadual (atau GET, POST dan DELETE ke titik akhir API). 75% membaca, 20% menulis, 5% memadam. Kami menjalankannya dengan 100 pengguna serentak selama 10 minit.

Akhirnya kami mendapat purata masa tindak balas 2s, tetapi bahagian yang paling membimbangkan ialah purata masa masih meningkat apabila ujian tamat, jadi kemungkinan besar bilangannya masih akan bertambah sebelum (dan jika ) ia stabil .

Saya cuba menjalankannya secara tempatan pada mesin saya, tetapi yang mengejutkan saya, masa tindak balas dalam Posmen ialah 14ms sahaja. Walau bagaimanapun, apabila menjalankan ujian beban untuk 500 pengguna serentak, masalah itu muncul lagi ? ...

Menjelang akhir ujian, masa tindak balas adalah kira-kira 1.6s dan masih meningkat, tetapi beberapa gangguan berlaku dan langit persentil ke-95 melonjak (dan merosakkan graf =( ). Berikut ialah statistik:

Sekarang, mengapa pelayan yang bertindak balas dengan 14ms tiba-tiba meningkat kepada 1.6 saat dengan hanya 500 pengguna serentak?

Mesin saya ialah teras i7, 6 teras, 2.6GHz, RAM 16Gb, SSD. Ia tidak sepatutnya berlaku.

Apa yang memberi saya petunjuk yang baik ialah pemproses dan log memori saya... Mereka sangat rendah!

Ini mungkin bermakna pelayan saya tidak menggunakan semua sumber daripada mesin saya. Dan rasa apa? Ia tidak. Izinkan saya membentangkan kepada anda konsep yang sebahagian besar pembangun lupa apabila menggunakan aplikasi FastAPI atau Flask untuk menghasilkan: pekerja proses.

Seperti getorchestra.io:

Memahami Pekerja Pelayan

Pekerja pelayan pada asasnya ialah proses yang menjalankan kod aplikasi anda. Setiap pekerja boleh mengendalikan satu permintaan pada satu masa. Jika anda mempunyai berbilang pekerja, anda boleh memproses berbilang permintaan serentak, meningkatkan daya pemprosesan permohonan anda.

Mengapa Pekerja Pelayan Penting

• Konkurensi: Mereka membenarkan pengendalian permintaan serentak, yang membawa kepada penggunaan sumber pelayan yang lebih baik dan masa respons yang lebih pantas.
• Pengasingan: Setiap pekerja adalah proses bebas. Jika seorang pekerja gagal, ia tidak menjejaskan yang lain, memastikan kestabilan yang lebih baik.
• Skalabiliti: Melaraskan bilangan pekerja boleh menskalakan aplikasi anda dengan mudah untuk mengendalikan beban yang berbeza-beza.

Dalam amalan, anda hanya perlu menambah parameter --workers pilihan pada baris permulaan pelayan anda. Pengiraan bilangan pekerja yang anda perlukan banyak bergantung pada pelayan yang anda jalankan aplikasi anda dan gelagat aplikasi anda: terutamanya apabila ia melibatkan penggunaan memori.

Selepas melakukannya, saya mendapat hasil yang lebih baik secara tempatan untuk 16 pekerja, menumpu kepada 90ms (untuk 500 pengguna serentak) selepas 10 minit:

Pusingan Ujian Akhir

Selepas mengkonfigurasi perkhidmatan mikro dengan bilangan pekerja yang sesuai (saya menggunakan 4 untuk contoh Cloud Run pemproses tunggal saya), keputusan saya adalah sangat baik dalam GCP:

Nilai akhir menumpu kepada 300ms pada akhir ujian dalam pelayan GCP, yang sekurang-kurangnya boleh diterima. ?

Atas ialah kandungan terperinci Sebab Apl FastAPI (atau Flask) anda berprestasi buruk dengan beban yang tinggi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!