Reka bentuk kejuruteraan berkualiti dalam penyelesaian platform kecerdasan buatan

​Penterjemah |. Zhu Xianzhong

Pengulas|. Sun Shujuan

Pengenalan

Kita berada di zaman kegemilangan kecerdasan buatan . Penggunaan penyelesaian kecerdasan buatan menjadikan perusahaan lebih kreatif, berdaya saing dan responsif. Model perisian-sebagai-perkhidmatan (SaaS), ditambah dengan kemajuan teknologi awan, telah menjadikan proses pengeluaran dan penggunaan perisian semakin matang.

Adalah fakta biasa bahawa kebanyakan organisasi lebih suka "membeli" teknologi AI di luar rak daripada "membina" mereka sendiri. Oleh itu, penyedia SaaS, seperti Salesforce, SAP, Oracle, dsb., telah memperkenalkan fungsi platform kecerdasan buatan secara berturut-turut dan membina model kecerdasan buatan sebagai perkhidmatan (AI-as-a-Service, AIaaS). Sesungguhnya, aliran pembangunan ini memudahkan perusahaan untuk menggunakan penyelesaian kecerdasan buatan.

Teknologi ujian memainkan peranan penting dalam jaminan kualiti (QA) secara amnya dan dalam penggunaan platform kecerdasan buatan khususnya. Selain itu, ujian menjadi sangat kompleks apabila menggunakan platform AI, atas sebab berikut:

1. Pengujian AI memerlukan proses ujian pintar, sumber awan termaya, kemahiran khusus dan alatan AI.
2. Walaupun penyedia platform AI akan mengeluarkan pelbagai versi dengan kerap, kelajuan ujian hendaklah sepantas mungkin.
3. Produk kecerdasan buatan selalunya kurang ketelusan dan tidak dapat dijelaskan oleh itu, ia sukar untuk diyakinkan.
4. Bukan sahaja produk kecerdasan buatan, malah kualiti model latihan dan kualiti data adalah sama penting. Walau bagaimanapun, beberapa kaedah ujian tradisional untuk mengesahkan sumber awan, algoritma, antara muka dan konfigurasi pengguna secara amnya tidak cekap. Dengan cara ini, ujian pembelajaran, penaakulan, persepsi, operasi, dll. menjadi sama penting.

Sebagai contoh, dalam model penyelesaian AI plug-and-play, logik AI disediakan oleh vendor perisian. Pengaturcara sebagai pengguna bertanggungjawab untuk membina antara muka, menyediakan data untuk melatih logik, melatih logik dalam konteks penyelesaian, dan memperluaskan pengalaman kepada pengguna akhir.

Pertama, seperti ujian tradisional, kita harus menguji data, algoritma, penyepaduan dan pengalaman pengguna. Kedua, untuk menguji kesesuaian fungsi penyelesaian, model terlatih harus disahkan, yang akan memanjangkan ujian kepada inferens, perancangan, pembelajaran, dsb. Ketiga, kaedah untuk mengesahkan algoritma AI itu sendiri harus dibangunkan. Akhir sekali, alatan yang mungkin digunakan oleh logik AI, seperti carian, pengoptimuman, kebarangkalian, dsb., juga harus disertakan dalam pengesahan berfungsi. Artikel ini memperkenalkan perspektif praktikal tentang rangka kerja ujian kecerdasan buatan.

Keperluan teras penyelesaian platform AI: ujian berterusan

Kematangan QA yang dicapai melalui tahap automasi yang tinggi adalah penting untuk menerima pakai platform AI. Apabila perusahaan memodenkan infrastruktur dan kaedah kejuruteraan mereka, kitaran keluaran berkemungkinan menjadi lebih pendek dan lebih automatik. Teknik integrasi berterusan (CI) telah terbukti berkesan. Apabila kod dilog masuk beberapa kali sehari dan kemudian disusun semula, ia menjana berbilang gelung maklum balas QA. Oleh itu, untuk berjaya menggunakan CI, automasi proses binaan dan penggunaan adalah penting. Automasi ialah asas CI, dan automasi ujian menjadikan penghantaran berterusan (CD) mungkin. Pendek kata, CD digerakkan oleh CI. Pembangunan model tangkas dan DevOps telah mempercepatkan gelung maklum balas antara pembangunan dan ujian, menginstitusikan ujian berterusan (CT), pembangunan berterusan dan penyampaian berterusan.

Dalam perusahaan, data, aplikasi, infrastruktur, dll. sentiasa berubah. Pada masa yang sama, penyedia SaaS terus meningkatkan produk AI untuk meningkatkan pengalaman pengguna dan kecekapan pembangunan. Dalam keadaan dinamik ini, adalah penting untuk mewujudkan ekosistem ujian berterusan seperti persekitaran ujian automatik sepenuhnya bukan sahaja boleh mengesahkan perubahan aset IT perusahaan, tetapi juga mengesahkan versi produk AI yang berubah.

Ringkasnya, mewujudkan ekosistem CT yang baik perlu mengambil kira faktor berikut:

1. Pindahkan skrip ujian automatik ke dalam alat kawalan versi perusahaan. Pangkalan kod automasi, sama seperti pangkalan kod aplikasi, harus berada dalam repositori kawalan versi. Dengan cara ini, adalah cekap untuk menggabungkan aset ujian dengan aplikasi dan aset data.
2. Merancang untuk menyepadukan suite automasi dengan alatan penggunaan binaan kod/data untuk menyokong pelaksanaan dan pelaporan berpusat. Adalah penting untuk menyelaraskan binaan kod/data dengan suite automasi masing-masing. Sudah tentu, penggunaan automatik berasaskan alat amat diperlukan semasa setiap binaan untuk mengelakkan campur tangan manusia.
3. Pisahkan suite automasi kepada berbilang lapisan ujian untuk mendayakan maklum balas yang lebih pantas di setiap pusat pemeriksaan. Contohnya, pemeriksaan kesihatan AI boleh mengesahkan bahawa perkhidmatan berfungsi dengan baik selepas perubahan digunakan dalam antara muka dan struktur data. Ujian asap AI boleh mengesahkan bahawa fungsi sistem kritikal berfungsi dengan baik dan bebas daripada kecacatan tersumbat.
4. Skop ujian juga harus meliputi model latihan. Ujian AI juga harus menguji model terlatih yang menunjukkan sama ada penyelesaian mempelajari arahan yang diberikan, kedua-dua diselia dan tidak diselia. Adalah penting untuk menghasilkan semula senario yang sama beberapa kali untuk menyemak sama ada respons sepadan dengan latihan yang diberikan. Begitu juga, adalah penting untuk menyediakan proses untuk melatih penyelesaian bagi kegagalan, pengecualian, ralat, dll. sebagai sebahagian daripada ujian. Jika pengendalian pengecualian dipertimbangkan dengan teliti, toleransi kesalahan boleh dibina.
5. Rancang untuk mengurus latihan/pembelajaran kecerdasan buatan sepanjang keseluruhan kitaran penyelesaian AI. Tetapan berkaitan CT harus membantu meneruskan pembelajaran dari ujian ke pengeluaran, mengurangkan kebimbangan mengenai pembelajaran pemindahan.
6. Pengoptimuman melalui regresi pintar. Jika masa kitaran pelaksanaan regresi ensemble adalah lebih lama, CT harus membahagikan subset pada masa jalan berdasarkan kawasan yang terjejas teruk untuk memberikan maklum balas dalam tetingkap masa yang munasabah. Gunakan algoritma ML dengan berkesan untuk mencipta model kebarangkalian untuk memilih ujian regresi yang konsisten dengan kod dan binaan data tertentu, membantu mengoptimumkan penggunaan sumber awan dengan cekap dan mempercepatkan ujian.
7. Sentiasa jadualkan ujian regresi komprehensif secara tetap. Kerja ini boleh dijadualkan pada malam atau hujung minggu, bergantung pada konsistensinya dengan kekerapan binaan berulang. Ini adalah maklum balas muktamad daripada ekosistem CT, yang matlamatnya adalah untuk meminimumkan masa maklum balas dengan menjalankan benang atau mesin yang dilaksanakan secara selari.

Apabila menguji tanpa campur tangan manusia, gangguan, ralat dan sebarang anomali algoritma menjadi sumber penemuan untuk penyelesaian AI. Begitu juga, penggunaan sebenar dan pilihan pengguna semasa ujian juga menjadi sumber latihan dan harus diteruskan dalam pengeluaran.

Pastikan data dalam penyelesaian AIaaS boleh diekstrak

Kualiti data ialah kriteria kejayaan yang paling penting dalam penyelesaian kecerdasan buatan. Data berguna wujud di dalam dan di luar perusahaan. Keupayaan untuk mengekstrak data yang berguna dan menyalurkannya ke enjin AI adalah salah satu keperluan untuk pembangunan berkualiti. Extract, Transform and Load (ETL) ialah istilah tradisional yang merujuk kepada saluran paip data yang mengumpul data daripada pelbagai sumber, mengubahnya berdasarkan peraturan perniagaan dan memuatkannya ke dalam stor data sasaran. Bidang ETL telah berkembang menjadi penyepaduan maklumat perusahaan (EII), penyepaduan aplikasi perusahaan (EAI) dan platform penyepaduan awan perusahaan sebagai perkhidmatan (iPaaS). Tanpa mengira kemajuan teknologi, keperluan untuk jaminan data akan menjadi lebih penting. Jaminan data harus menangani aktiviti ujian berfungsi seperti pengesahan proses Map Reduce, pengesahan logik transformasi, pengesahan data, pengesahan storan data, dsb. Di samping itu, jaminan data juga harus menangani aspek prestasi, kegagalan dan keselamatan data yang tidak berfungsi.

Data berstruktur lebih mudah diurus, manakala data tidak berstruktur yang berasal dari luar perusahaan harus dikendalikan dengan berhati-hati. Prinsip pemprosesan strim membantu menyediakan data bergerak lebih awal, iaitu, melalui pemprosesan dipacu peristiwa, data diproses sebaik sahaja ia dijana atau diterima daripada tapak web, aplikasi luaran, peranti mudah alih, penderia dan sumber lain. Di samping itu, adalah perlu untuk memeriksa kualiti dengan mewujudkan pintu kualiti.

Platform pemesejan seperti Twitter, Instagram dan WhatsApp ialah sumber data yang popular. Apabila menggunakan data sedemikian, mereka menyambungkan aplikasi, perkhidmatan dan peranti merentasi pelbagai teknologi melalui rangka kerja pemesejan berasaskan awan. Teknik pembelajaran mendalam membolehkan komputer belajar daripada beban data ini. Sebahagian daripada data ini memerlukan bantuan penyelesaian rangkaian saraf untuk menyelesaikan pemprosesan isyarat yang kompleks dan masalah pengecaman corak, daripada pertuturan kepada transkripsi teks, pengecaman tulisan tangan kepada pengecaman muka dan banyak kawasan lain. Oleh itu, pintu kualiti yang diperlukan harus diwujudkan untuk menguji data daripada platform ini.

Berikut ialah beberapa perkara yang perlu anda perhatikan semasa mereka bentuk projek QA dipacu AI.

1. Pintu kualiti automatik: Algoritma ML boleh dilaksanakan untuk menentukan sama ada data "lulus" berdasarkan kriteria sejarah dan yang dilihat.
2. Ramalkan punca sumber: Mengelaskan atau mengenal pasti punca punca kecacatan data bukan sahaja membantu mengelakkan ralat masa hadapan tetapi juga membantu meningkatkan kualiti data secara berterusan. Melalui corak dan korelasi, pasukan ujian boleh melaksanakan algoritma ML untuk mengesan kecacatan kembali ke sumber mereka. Ini membantu mengautomasikan ujian pemulihan dan pemulihan sebelum data bergerak ke peringkat seterusnya untuk ujian kendiri dan penyembuhan diri.
3. Manfaatkan pemantauan pra-sedar: Algoritma ML boleh mencari simptom dan ralat pengekodan yang berkaitan dalam corak data, seperti penggunaan memori yang tinggi, potensi ancaman yang boleh menyebabkan gangguan, dsb., sekali gus membantu pasukan melaksanakan langkah pembetulan secara automatik . Sebagai contoh, enjin AI boleh mempercepatkan proses selari secara automatik untuk mengoptimumkan penggunaan pelayan.
4. Failover: Algoritma ML boleh mengesan kegagalan dan pulih secara automatik untuk meneruskan pemprosesan dan boleh mendaftarkan kegagalan untuk pembelajaran.

Memastikan algoritma kecerdasan buatan dalam penyelesaian AIaaS

Apabila struktur dalaman sistem perisian diketahui, pembangunan dan ujian adalah mudah. Walau bagaimanapun, dalam penyelesaian platform AI, AI dan ML kurang "boleh dijelaskan", iaitu pemetaan input/output adalah satu-satunya elemen yang diketahui, dan pembangun selalunya tidak dapat melihat atau memahami mekanik kefungsian AI yang mendasari (cth. ramalan). Walaupun ujian kotak hitam tradisional membantu menyelesaikan masalah pemetaan input/output, apabila ketelusan kurang, manusia akan menghadapi kesukaran untuk mempercayai model ujian. Sudah tentu, penyelesaian platform AI ialah kotak hitam terdapat teknik AI unik yang boleh membantu mengesahkan kefungsian program AI dengan cara ini, ujian bukan hanya soal pemetaan input dan output; Untuk pertimbangan reka bentuk, beberapa teknik ujian kotak hitam yang didorong oleh kecerdasan buatan termasuk:

1. Pemeriksaan ramalan posterior (PPC) mensimulasikan data yang direplikasi di bawah model yang dipasang dan kemudian membandingkannya dengan data pemerhatian untuk perbandingan. Oleh itu, ujian boleh menggunakan ramalan posterior untuk "mencari perbezaan sistematik antara data sebenar dan simulasi."
2. Algoritma genetik untuk mengoptimumkan kes ujian. Salah satu cabaran dalam menjana kes ujian ialah mencari set data yang, apabila digunakan sebagai input kepada perisian yang diuji, menghasilkan liputan tertinggi. Jika masalah ini diselesaikan, kes ujian boleh dioptimumkan. Terdapat algoritma carian heuristik adaptif yang mensimulasikan gelagat asas yang dilakukan dalam proses evolusi semula jadi, seperti pemilihan, silang dan mutasi. Apabila menggunakan carian heuristik untuk menjana kes ujian, maklumat maklum balas tentang aplikasi ujian digunakan untuk menentukan sama ada data ujian memenuhi keperluan ujian. Mekanisme maklum balas boleh melaraskan data ujian secara beransur-ansur sehingga keperluan ujian dipenuhi.
3. Rangkaian saraf untuk penjanaan kes ujian automatik. Ini adalah sistem selular fizikal yang boleh memperoleh, menyimpan dan memproses pengetahuan empirikal. Mereka meniru otak manusia untuk melaksanakan tugas pembelajaran. Teknologi pembelajaran rangkaian saraf digunakan untuk menjana kes ujian secara automatik. Dalam model ini, rangkaian saraf dilatih pada satu set kes ujian yang digunakan pada versi asal produk platform AI. Latihan rangkaian hanya menyasarkan input dan output sistem. Rangkaian terlatih kemudiannya boleh digunakan sebagai oracle buatan untuk menilai ketepatan output yang dihasilkan oleh versi baru dan berpotensi buggy produk platform AI.
4. Logik kabur untuk pemilihan ujian regresi berasaskan model. Walaupun kaedah ini berguna dalam projek yang sudah menggunakan kaedah pembangunan dipacu model, halangan utama ialah model sering dicipta pada tahap abstraksi yang tinggi. Mereka kekurangan maklumat yang diperlukan untuk mewujudkan pautan kebolehkesanan antara jejak pelaksanaan berkaitan liputan dalam model dan kes ujian peringkat kod. Kaedah berasaskan logik kabur boleh digunakan untuk memperhalusi model abstrak secara automatik untuk menghasilkan model terperinci yang membolehkan pengenalpastian pautan kebolehkesanan. Proses ini memperkenalkan tahap ketidakpastian - ketidakpastian yang boleh diselesaikan dengan menggunakan logik kabur berasaskan penghalusan. Logik pendekatan ini adalah untuk mengklasifikasikan kes ujian kepada yang boleh diuji semula berdasarkan ketepatan kebarangkalian yang dikaitkan dengan algoritma penghalusan yang digunakan.

Untuk maklumat lebih terperinci tentang bahagian pengetahuan ini, sila rujuk ​​"Pengujian Kotak Hitam Model Pembelajaran Mesin" ​​.

Pastikan penyepaduan dan antara muka dalam penyelesaian AIaaS

Semua penyelesaian SaaS, termasuk penyelesaian AIaaS, disertakan dengan set perkhidmatan web yang telah ditetapkan. Aplikasi perusahaan dan sumber pintar lain boleh berinteraksi dengan perkhidmatan ini untuk mencapai hasil yang dijanjikan. Hari ini, perkhidmatan Web telah berkembang ke tahap yang menyediakan kebebasan platform, iaitu, kebolehoperasian. Fleksibiliti yang meningkat ini membolehkan kebanyakan perkhidmatan Web digunakan oleh sistem yang berbeza. Sudah tentu, kerumitan antara muka ini juga memerlukan peningkatan yang sepadan dalam tahap ujian. Sebagai contoh, dalam persekitaran CI/CD, ia menjadi tugas kritikal untuk menyemak keserasian antara muka ini dalam setiap pakej aplikasi yang dibina.

Pada masa ini, cabaran utama dalam hal ini adalah untuk melaksanakan perkhidmatan web maya dan mengesahkan aliran data antara penyelesaian platform AI dan aplikasi atau antara muka IoT. Ringkasnya, sebab utama ujian antara muka/perkhidmatan Web adalah rumit termasuk:

1. Tiada UI yang boleh diuji melainkan ia sudah disepadukan dengan sumber lain yang mungkin belum bersedia untuk ujian.
2. Semua elemen yang ditakrifkan dalam perkhidmatan ini memerlukan pengesahan, tidak kira aplikasi mana yang menggunakannya atau kekerapan ia digunakan.
3. Mesti mengesahkan parameter keselamatan asas perkhidmatan.
4. Sambung ke perkhidmatan melalui protokol komunikasi yang berbeza.
5. Panggilan serentak ke berbilang saluran perkhidmatan boleh menyebabkan masalah prestasi dan kebolehskalaan.

Oleh itu, menguji lapisan antara muka amat diperlukan: ​​

1. Simulasi kelakuan komponen atau aplikasi. Kerumitan antara muka aplikasi AI dengan manusia, mesin dan perisian harus disimulasikan dalam ujian AI untuk memastikan ketepatan, kesempurnaan, konsistensi dan kelajuan.
2. Semak penggunaan kod bukan standard. Menggunakan perpustakaan sumber terbuka dan menerima pakai aplikasi dunia sebenar boleh membawa kod dan data bukan standard ke dalam persekitaran IT perusahaan. Oleh itu, semua ini harus disahkan.

Memastikan pengalaman pengguna dalam penyelesaian AIaaS

Dalam realiti sosial baharu di mana kebanyakan orang bekerja dan tinggal jauh, pengalaman pelanggan telah menjadi syarat yang diperlukan untuk kejayaan perniagaan. Ini adalah matlamat yang lebih besar dalam penyelesaian kecerdasan buatan. Ujian tidak berfungsi ialah fenomena terbukti yang memberikan pengalaman pelanggan yang bermakna dengan mengesahkan sifat seperti prestasi, keselamatan dan kebolehaksesan. Secara umum, teknologi generasi akan datang meningkatkan kerumitan jaminan pengalaman.

Berikut ialah beberapa pertimbangan reka bentuk penting untuk memastikan pengalaman pengguna sepanjang rangka kerja ujian AI.

1. Reka bentuk untuk pengalaman, bukan ujian untuk pengalaman. Strategi AI perusahaan harus bermula dari perspektif pengguna akhir. Adalah penting untuk memastikan bahawa pasukan ujian mewakili pelanggan sebenar. Melibatkan pelanggan pada awal reka bentuk bukan sahaja membantu dengan reka bentuk, tetapi juga membantu mendapatkan kepercayaan pelanggan sejak awal lagi.
2. Mencapai ketangkasan dan automasi dengan membina model pengoptimuman ujian. Isu pengalaman pengguna harus dipertimbangkan dari peringkat "swarm" kitaran ujian, kerana ujian awal untuk pengalaman pengguna akan membantu mencapai kitaran pembangunan yang dioptimumkan ujian binaan.
3. Keselamatan berterusan menggunakan kaedah tangkas adalah kritikal. Minta pasukan keselamatan perusahaan menjadi sebahagian daripada pasukan tangkas yang: 1) memiliki dan mengesahkan model ancaman organisasi semasa tempoh ujian "swarm" 2) menilai kelemahan struktur merentas semua antara muka berbilang saluran yang mungkin ada pada seni bina penyelesaian SaaS AI ( dari perspektif penggodam hipotesis).
4. Kelajuan adalah perkara utama. Sifat data AI, seperti volum, halaju, kepelbagaian dan kebolehubahan, memerlukan prapemprosesan, pemprosesan selari/teredar dan/atau pemprosesan strim. Ujian prestasi akan membantu mengoptimumkan reka bentuk untuk pemprosesan yang diedarkan, yang diperlukan untuk kelajuan yang diharapkan pengguna daripada sistem.
5. Nuansa ujian teks dan pertuturan juga penting. Banyak tinjauan penyelidikan menunjukkan bahawa AI perbualan kekal di bahagian atas agenda korporat. Memandangkan teknologi baharu seperti realiti diperkukuh, realiti maya dan kecerdasan buatan tepi terus muncul, keperluan seperti teks ujian, pertuturan dan pemprosesan bahasa semula jadi seharusnya dapat ditangani.
6. Simulasi membantu had ujian. Memeriksa senario pengguna adalah asas jaminan pengalaman. Apabila bercakap tentang AI, ujian anomali, ralat dan pelanggaran akan membantu meramalkan tingkah laku sistem, yang seterusnya akan membantu kami mengesahkan tahap toleransi ralat/kesalahan aplikasi AI.
7. Kepercayaan, ketelusan dan kepelbagaian. Mengesahkan kepercayaan pengguna perusahaan terhadap hasil AI, mengesahkan ketelusan sumber data dan algoritma, memerlukan ketelusan untuk menyasarkan pengurangan risiko dan meningkatkan keyakinan terhadap AI, memastikan kepelbagaian sumber data dan pengguna/penguji untuk memeriksa etika AI dan Ketepatannya, semua ini adalah kritikal. Untuk melakukan ini, penguji bukan sahaja harus meningkatkan pengetahuan domain mereka tetapi juga memahami pengetahuan teknikal data, algoritma dan proses penyepaduan dalam IT perusahaan besar.

Kesimpulan

Ringkasnya, ujian berterusan adalah keperluan asas bagi setiap perusahaan untuk menggunakan penyelesaian platform kecerdasan buatan. Oleh itu, kita harus menggunakan pendekatan modular untuk menambah baik reka bentuk data, algoritma, penyepaduan dan aktiviti jaminan pengalaman. Ini akan membantu kami mencipta ekosistem ujian berterusan supaya IT perusahaan boleh bersedia untuk menerima perubahan yang kerap dalam komponen AI dalaman dan luaran.

Pengenalan penterjemah

Zhu Xianzhong, editor komuniti 51CTO, blogger pakar 51CTO, pensyarah, guru komputer di sebuah universiti di Weifang dan seorang veteran dalam industri pengaturcaraan bebas. Pada hari-hari awal, beliau memberi tumpuan kepada pelbagai teknologi Microsoft (menghimpun tiga buku teknikal yang berkaitan dengan ASP.NET AJX dan Cocos 2d-X Dalam sepuluh tahun yang lalu, beliau telah menumpukan dirinya kepada dunia sumber terbuka (biasa dengan popular penuh-). susun teknologi pembangunan web) dan pelajari tentang OneNet/AliOS+Arduino /ESP32/Raspberry Pi dan teknologi pembangunan IoT lain serta Scala+Hadoop+Spark+Flink dan teknologi pembangunan data besar yang lain.

Tajuk asal: ​​Reka Bentuk Kejuruteraan Kualiti untuk Penerimaan Platform AI​​​, pengarang: Anbu Muppidathi​

Atas ialah kandungan terperinci Reka bentuk kejuruteraan berkualiti dalam penyelesaian platform kecerdasan buatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!