Membawa model berskala besar mudah dicapai, pembangunan AI Yanxi dan platform pengkomputeran dilancarkan secara rasmi

Dalam setahun apabila model besar menjadi popular, kesesakan pembangunan yang paling penting dalam industri AI generatif telah muncul di bahagian kuasa pengkomputeran. Pada 20 September, Sequoia America menyebut dalam artikel "The Second Act of Generative AI" bahawa banyak syarikat AI generatif dengan cepat mendapati pada tahun lalu bahawa kesesakan pembangunan mereka bukanlah permintaan pelanggan, tetapi ketegangan GPU. Masa menunggu GPU yang lama menjadi sangat biasa sehingga model perniagaan yang mudah muncul: bayar yuran langganan untuk melangkau baris gilir dan mendapatkan model yang lebih baik.

Dalam latihan model besar, peningkatan eksponen dalam saiz parameter telah membawa peningkatan mendadak dalam kos latihan. Untuk sumber GPU yang ketat, menjadi lebih penting untuk memaksimumkan prestasi perkakasan dan meningkatkan kecekapan latihan.

Platform pengkomputeran pembangunan AI ialah penyelesaian penting. Menggunakan platform pengkomputeran pembangunan AI, pembangun model besar boleh melengkapkan keseluruhan proses pembangunan AI yang meliputi penyediaan data, pembangunan model, latihan model dan penggunaan model secara sehenti. Selain menurunkan ambang untuk pembangunan model yang besar, platform pengkomputeran AI menjadikan sumber pengkomputeran lebih cekap dengan menyediakan perkhidmatan pengoptimuman latihan dan pengurusan inferens.

Pada 26 September, menurut pengenalan JD Cloud mengenai pembangunan Yanxi AI dan platform pengkomputeran di Persidangan Bandar Xi'an, menggunakan platform pembangunan dan pengkomputeran Yanxi AI yang dilancarkan oleh JD Cloud, ia boleh disiapkan dalam masa kurang daripada seminggu. Keseluruhan proses penyediaan data, latihan model, dan penggunaan model yang sebelum ini memerlukan lebih daripada 10 saintis, kini hanya memerlukan 1-2 kakitangan algoritma melalui pengoptimuman alat pecutan model platform, pasukan boleh menjimatkan 90%; kos inferens.

Lebih penting lagi, pada masa model besar memasuki ribuan industri dengan pantas, platform pengkomputeran pembangunan AI Yanxi memperkasakan pembangun algoritma model besar dan pembangun aplikasi pada masa yang sama, dan juga boleh digunakan oleh pembangun aplikasi pembangunan produk model besar dalam format kod rendah. Ambang untuk membangunkan model industri besar telah menjadi lebih rendah, dan lebih mudah untuk menggunakan dan mengubah model besar.

Era model besar memerlukan infrastruktur digital baharu

Untuk pembangun model besar, jika tiada platform pengkomputeran pembangunan AI, ini bermakna: Semasa proses pembangunan algoritma dan aplikasi, anda perlu membina asas lapisan sendiri Untuk siri sistem seperti penjadualan sumber pengkomputeran GPU, rangkaian storan dan pengurusan dan kawalan model, keseluruhan proses pembangunan akan menjadi sangat primitif dan ambangnya sangat tinggi.

Bagi syarikat yang mempromosikan aplikasi industri model besar secara dalaman, ini bermakna peningkatan pesat dalam kos dan kesukaran dalam memastikan kecekapan latihan.

Setahun telah berlalu, dan industri seperti kewangan, pemasaran, kereta, kandungan, undang-undang dan pejabat sedang giat menyepadukan dengan model besar. Potensi kuat model besar telah menjadi faktor penting dalam menyusun semula landskap persaingan dalam banyak industri. Mencari senario yang menggabungkan perniagaan anda dengan model besar dengan lebih pantas dan melaksanakannya dengan cekap telah menjadi kunci kepada persaingan. Model industri yang sedang membangun bukanlah perkara yang lancar masa kitaran dan kesukaran pemprosesan adalah berbeza; cara memuatkan data berbilang modal secara besar-besaran semasa latihan adalah masalah yang mesti diselesaikan.

Kedua, kestabilan persekitaran semasa latihan model besar, pemprosesan pemulihan titik putus kerosakan dan latihan berterusan mempunyai kesan yang besar terhadap kecekapan latihan dalam pautan latihan dan penggunaan, cara menjadualkan kuasa pengkomputeran dengan cekap dan meningkatkan pengkomputeran; kuasa Penggunaan sumber manusia juga merupakan isu kos yang mesti dipertimbangkan oleh syarikat.

JD Cloud berkongsi di Persidangan Bandar Xi'an bahawa dalam tempoh amalan yang lalu,

JD Cloud mendapati bahawa cabaran model industri besar bukan sahaja teknologi itu sendiri, tetapi juga cara menggabungkan teknologi dengan aplikasi industri senario bagaimana mengimbangi kos, kecekapan dan pengalaman adalah cabaran sebenar bagi pelaksanaan industri model besar.

Kembali ke tahap pembangunan paling asas dan mengimbangi kos, kecekapan dan pengalaman bermakna beberapa masalah perlu diselesaikan semula dan dioptimumkan.

Gong Yicheng, ketua jabatan penyelidikan dan pembangunan produk IaaS Jingdong Cloud, menjelaskan lagi dalam temu bual bahawa keperluan untuk infrastruktur pembangunan dalam era model besar sangat berbeza daripada yang tradisional. Dari segi kecekapan, dalam proses pembangunan AI yang lalu, walaupun GPU kos yang agak rendah boleh menyelesaikan banyak kerja yang berkaitan Namun, dalam senario model besar, pembangunan AI telah banyak bergantung pada GPU kos tinggi seperti A100 dan A800. Keperluan kuasa dan prestasi menjadi lebih tinggi, dan kos meningkat dengan cepat.

"Oleh itu, di bawah kos yang tinggi, cara untuk memerah prestasi perkakasan ini secara melampau telah menjadi sangat penting untuk kecekapan kos pembangunan model besar

Dalam pembangunan AI yang lalu,." data Keselarasan daya pemprosesan tidak setinggi model besar, kerana ia memerlukan banyak GPU untuk berfungsi pada masa yang sama Oleh itu, walaupun jumlah data itu sendiri tidak besar, bacaan serentak model besar dan kemungkinan kelewatan isu menimbulkan cabaran kepada storan berprestasi tinggi Keperluan baharu selalunya tidak dipenuhi oleh mekanisme storan yang lalu.

Gong Yicheng juga menyebut bahawa jika kelewatan lebih rendah semasa proses capaian data, kecekapan keseluruhan model akan lebih tinggi. Jika anda menggunakan cip pintar yang dibangunkan sendiri, anda boleh menggunakan sepenuhnya rangkaian kependaman rendah, yang boleh membantu meningkatkan kecekapan keseluruhan latihan model.

Selain itu, pada peringkat skala, latihan model besar dengan lebih daripada 100 bilion parameter pada asasnya memerlukan lebih daripada 1,000 kalori untuk latihan. Gong Yicheng berkongsi bahawa ini amat jarang berlaku dalam pembangunan AI sebelumnya, jadi ia mengemukakan keperluan pengalaman yang tinggi dan baharu untuk pembangunan, dan infrastruktur pembangunan yang sepadan adalah berbeza sama sekali.

Bagi syarikat yang ingin meningkatkan kecekapan pembangunan model besar dan membantu model besar dilaksanakan dengan lebih baik dalam industri, satu set infrastruktur baharu telah menjadi perlu.

JD Cloud mengeluarkan platform pengkomputeran AI Yanxi

Pada 26 September, JD.com secara rasminya mengeluarkan platform pengkomputeran AI Yanxi pada penyediaan data Bandar Xi'an dan meliputi pembangunan model ., latihan model dan keupayaan pembangunan AI proses penuh penggunaan model, dengan model besar sumber terbuka arus perdana yang telah ditetapkan dan beberapa model besar komersial, serta lebih daripada 100 alat dan rangka kerja inferens, yang boleh mengurangkan ambang dan kos pembangunan model besar dengan berkesan .

Dari segi peningkatan prestasi, platform pengkomputeran pembangunan AI Yanxi telah membuat banyak penemuan teknologi dalam kuasa dan storan pengkomputeran. Di peringkat bawah, platform boleh menjadualkan lagi keseluruhan dan menyelaraskan kuasa pengkomputeran GPU, meningkatkan kecekapan penjadualan penggunaan sumber asas platform.

Menurut perkongsian JD Cloud, dari segi kuasa pengkomputeran, JD Cloud akan menyediakan hos awan generasi kelima dan pelbagai produk berprestasi tinggi dalam platform Dalam bentuk ini, boleh memberikan kuasa pengkomputeran dan boleh menyokong ratusan ribu skala nod GPU. Di peringkat rangkaian, algoritma kesesakan RDMA yang dibangunkan sendiri digunakan untuk mengawal laluan trafik rangkaian RDMA secara global. Nod GPU yang berbeza menyokong lebar jalur rangkaian RDMA maksimum 3.2 Tbps, dan kelewatan penghantaran adalah serendah kira-kira 2. kami sebagai sokongan keupayaan asas.

Dari segi storan, storan edaran Yunhai JD Cloud boleh menyokong daya pemprosesan data latihan model besar yang boleh mencapai puluhan juta IOPS dan kependaman serendah seratus mikrosaat. Dengan seni bina pemisahan storan dan pengkomputeran baharu, Yunhai boleh menjimatkan lebih daripada 30% daripada keseluruhan kos infrastruktur Ia kini digunakan secara meluas dalam senario baru muncul seperti pengkomputeran berprestasi tinggi dan latihan AI, serta senario tradisional. seperti storan audio dan video dan pelaporan data.

Selain mengoptimumkan sumber asas, platform pengkomputeran Yanxi AI boleh membantu pembangun model besar meningkatkan kecekapan pautan penuh dan mencapai Data pelaksanaan yang cekap pemprosesan, pembangunan model, latihan, penggunaan, penilaian, pengoptimuman inferens latihan, keselamatan model, dll.:

• # 🎜🎜#Dalam proses pengurusan data, Yanxi boleh membantu pembangun model melaksanakan import, pembersihan, anotasi dan peningkatan data melalui model anotasi pintar, model peningkatan data dan set alatan penukaran data, serta menyokong berbilang format fail Import dan pintar data analisis, menyediakan keupayaan anotasi data automatik dan separa automatik. Bantu menyelesaikan masalah seperti storan data yang berselerak, format data yang berbeza, kualiti data yang tidak sekata dan kecekapan anotasi data manual yang rendah.
• Dalam proses latihan yang diedarkan, platform Yanxi menyesuaikan diri dengan perkakasan domestik, menyokong HPC, menyepadukan sistem fail berprestasi tinggi; strategi penjadualan untuk memastikan sumber perkakasan digunakan sepenuhnya; Membantu menyelesaikan masalah pertumbuhan pesat dalam rangkaian dan kerumitan algoritma, mengakibatkan kekurangan dan pembaziran sumber pengkomputeran dalam menggunakan dan menyesuaikan HPC, pengkomputeran berprestasi tinggi, sistem fail berprestasi tinggi, dan perkakasan model yang heterogen; kos latihan dan pembelajaran Penambahbaikan dan isu-isu lain.
• Dari segi keupayaan pembangunan bebas kod, memudahkan lagi proses pembangunan model berskala besar. Pengguna boleh terus memilih model besar yang dibina ke dalam platform, memuat naik data, dan kemudian terus memilih kaedah latihan Selepas menentukan salah satu daripada dua kaedah latihan tanpa kod hiperparameter dan AutoML, model atau aplikasi yang diperhalusi akan diperolehi.
• Pada lapisan aplikasi , platform Yanxi mempunyai pembangunan tanpa kod terbina dalam untuk senario aplikasi biasa seperti pembangunan soal jawab , pembangunan analisis dokumen dan alat pembangunan pemalam. Selepas memilih model, pangkalan pengetahuan, templat segera dan platform pembangunan, gunakannya dengan satu klik. Dan boleh menyokong pemantauan, ujian pengesanan dan penilaian ujian.

Secara keseluruhannya, platform pengkomputeran pembangunan AI Yanxi boleh memenuhi keperluan pengguna dengan tahap profesional yang berbeza. perlukan. Untuk pembangun algoritma model besar, ia boleh menyokong keseluruhan proses daripada penyediaan data, pemilihan model, penalaan kod, penggunaan dan pelepasan, dsb. Untuk pembangun lapisan aplikasi, mereka boleh menggunakan pendekatan tanpa kod untuk memilih model secara visual, memuat naik data dan mengkonfigurasi parameter Mereka boleh mencetuskan tugas tanpa menulis kod dan memulakan tugas model latihan, dengan itu menurunkan ambang.

Dari segi memperkenalkan model, platform pada masa ini mempunyai model komersial terbina dalam seperti Yanxi, Spark, dan LLama2, serta model sumber terbuka . Gong Yicheng berkata bahawa pendekatan Yanxi terhadap pemilihan model cenderung lebih menumpukan pada kualiti daripada kuantiti: ia memilih model perniagaan yang agak cemerlang dalam pelbagai bidang teknikal, serta beberapa model industri yang dibina berdasarkan model asas, untuk mengelakkan pengguna terjerumus ke dalam kebimbangan pilihan.

Selain itu, Yanxi kemudiannya akan menumpukan pada memperkenalkan aplikasi model industri yang dicipta oleh JD.com berdasarkan model asas, seperti runcit, senario kesihatan dan yang sebenarnya telah mencapai skala Letakkan model aplikasi perindustrian pada platform untuk membantu pembangun platform mempromosikan pelaksanaan perniagaan berkaitan.

Pada masa ini Yanxi mempunyai tiga kaedah penghantaran: satu ialah borang perkhidmatan MaaS, pembangun boleh menggunakan bayar semasa anda melalui API, iaitu kos- berkesan Kedua ialah versi SaaS awan awam Pengguna boleh menggunakan keupayaan pembangunan, latihan dan penggunaan model sehenti yang disediakan oleh platform untuk memulakan industri pada kos yang diminimumkan berdasarkan kelebihan bekalan anjal sumber awan awam penggunaan model besar. Yang ketiga ialah versi penghantaran yang diswastakan untuk memenuhi pelanggan yang mempunyai lebih banyak keperluan khas untuk keselamatan data, dan data disetempatkan sepenuhnya.

Pada masa hadapan, Yanxi akan terus meningkatkan keupayaan platformnya, terus menambah baik dalam liputan perkakasan domestik, kerjasama ekologi model, pembangunan plug-in, perkhidmatan penilaian aplikasi, penghantaran mesin semua-dalam-satu, perkhidmatan pembangunan ejen , dsb., dan membantu menyelesaikan masalah industri secara sistematik. pengkomputeran, fail berprestasi tinggi dan perkakasan heterogen.

Menggalakkan pelaksanaan model besar dalam beribu-ribu industri

Di Persidangan Bandar Xi'an, Cao Peng, pengerusi Jawatankuasa Teknikal Kumpulan JD dan presiden Bahagian Awan JD, disebut dalam beliau ucapan bahawa model besar secara beransur-ansur bergerak ke arah Dalam proses pelaksanaan industri, kami berharap untuk meningkatkan kecekapan industri yang lebih baik, menjana nilai industri yang lebih besar, dan dapat direplikasi dalam lebih banyak senario Ini pada asasnya mengemukakan keperluan yang lebih tinggi untuk proses latihan model dan infrastruktur: Model perlu lebih mudah digunakan, mempunyai ambang yang lebih rendah dan kos yang lebih rendah serta boleh menggunakan kuasa pengkomputeran secara fleksibel.

Platform pengkomputeran pembangunan AI ialah salah satu penyelesaian penting untuk menyelesaikan masalah ini Platform pengkomputeran pembangunan AI yang berprestasi tinggi dan mudah digunakan boleh membolehkan lebih banyak pihak industri mengambil bahagian dalam pembinaan industri model berskala besar. pada kos rendah dan memberi inspirasi lebih Kemunculan model besar pelbagai industri telah mempercepatkan pelaksanaan model besar dalam beribu-ribu industri.

Dalam pasaran sebenar, Gong Yicheng berkata, Sorotan utama yang akan dipertimbangkan oleh pelanggan industri apabila memilih platform pengkomputeran AI ialah: pemahaman industri dan kecekapan platform. Berbanding dengan platform pengkomputeran AI yang lain, platform pengkomputeran pembangunan AI Yanxi bukan sahaja boleh meningkatkan prestasi muktamad, tetapi juga menggabungkan pengalaman jangka panjang JD.com dalam senario berfaedah seperti runcit, kewangan, logistik, kesihatan, dll., untuk mempunyai pemilihan model industri besar yang lebih profesional.

Dalam ekosistem model platform pengkomputeran AI Yanxi, sebagai tambahan kepada model perniagaan cemerlang terbina dalam dan model sumber terbuka, untuk terus menurunkan ambang, Platform pengkomputeran AI Yanxi juga akan menambahkan lagi keupayaan peningkatan kepada ini model besar, seperti kebolehan Cina, kebolehan matematik, dsb., membolehkan pengguna memilih model besar yang lebih mudah digunakan dan profesional.

Lebih penting lagi, memandangkan platform pembangunan dan pengkomputeran AI Yanxi juga ditujukan kepada pembangun aplikasi model besar dan menyokong pembinaan model proprietari dengan cara tanpa kod, Selain model asas di atas, platform Yanxi juga akan menyediakan pengguna dengan Menyediakan lebih banyak model proprietari untuk senario aplikasi untuk pengguna melaksanakan dengan cepat dalam industri mereka sendiri.

Pada masa ini, model khusus senario aplikasi yang disediakan oleh platform Yanxi terutamanya termasuk senario frekuensi tinggi yang matang seperti pembangunan soal jawab serta analisis dan pembangunan dokumen. Aplikasi ini Jingdong telah disahkan berkali-kali di kawasan berfaedahnya sendiri, dan digabungkan dengan model besar boleh meningkatkan kecekapan dengan cepat.

Ambil alat perbualan sebagai contoh Bermula dari 2021, Miniso dan JD Cloud telah mencapai kerjasama untuk menggunakan siri produk teknologi perkhidmatan pelanggan JD Cloud kepada Miniso, meliputi pasukan perkhidmatan pelanggan Miniso Pinmen, pasukan operasi pengguna, Pasukan operasi dan penyelenggaraan perkhidmatan IT. Pada April 2022, siri produk Yanxi telah dilancarkan satu demi satu, termasuk satu siri produk pintar seperti robot perkhidmatan pelanggan dalam talian, robot tindak balas suara, robot panggilan keluar suara, pemeriksaan kualiti pintar dan pangkalan pengetahuan pintar, yang telah membawa signifikan. keputusan.

Data maklum balas menunjukkan bahawa purata volum perkhidmatan perundingan harian semasa produk siri Yanxi adalah hampir 10,000 kali, antaranya kadar ketepatan tindak balas robot perkhidmatan pelanggan dalam talian melebihi 97%, kadar penerimaan bebas melebihi 70%, dan perkhidmatan kos dikurangkan sebanyak 40% tindak balas suara Kadar ketepatan tindak balas robot melebihi 93% dan secara bebas mengendalikan 46.1% daripada masalah pelanggan pemeriksaan kualiti pintar telah diselesaikan ratusan ribu kali, hampir 3,000 isu risiko perkhidmatan telah ditemui dan dikendalikan, dan kepuasan pengguna telah meningkat sebanyak 20%; kandungan pangkalan pengetahuan pintar meliputi Ia mempunyai kira-kira 8,800 SKU teras di bawah jenama "MINISO" dan kira-kira 4,600 SKU di bawah jenama "TOP TOY".

Proses praktikal untuk melaksanakan model besar telah mencapai tahap penyebaran dari satu titik ke luar. Dalam industri, terdapat banyak syarikat perindustrian yang serupa dengan Miniso, dan senario robot perbualan boleh membawa nilai yang lebih besar kepada mereka. Dari segi pelancaran platform pembangunan dan pengkomputeran Xi AI, ia akan memperkasakan syarikat perindustrian daripada kuasa pengkomputeran peringkat bawah, pengurusan data, aplikasi tanpa kod dan pautan penuh lain, dan akan memberikan syarikat ini ambang yang lebih rendah, lebih rendah. kos, dan kitaran latihan yang lebih pendek rancangan perindustrian model berskala besar. Adalah dijangkakan bahawa kes yang serupa dengan Miniso akan muncul dengan lebih kerap pada masa hadapan.

Di samping itu, JD Cloud menekankan bahawa berbanding dengan produk pesaing lain, aspek kod rendah yang diterima pakai oleh platform pengkomputeran JD Yanxi AI mengurangkan lagi ambang pembangunan untuk pembangun aplikasi, dan storan berprestasi tinggi adalah bebas sepenuhnya dan keseluruhan sistem teknikal mempunyai tahap tinggi kebolehsuaian lengkap dan kecekapan prestasi tinggi.

Dengan mempopularkan infrastruktur digital baharu, pelaksanaan model besar dalam beribu-ribu industri akan menjadi lebih pantas, dan segi tiga mustahil bagi kecekapan dan inovasi kos akan mempunyai ruang yang lebih luas untuk imaginasi.

Atas ialah kandungan terperinci Membawa model berskala besar mudah dicapai, pembangunan AI Yanxi dan platform pengkomputeran dilancarkan secara rasmi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!