Ray, rangka kerja AI sumber terbuka di sebalik ChatGPT, kini bernilai $1 bilion

AI penjanaan teks telah menarik perhatian internet sejak kebelakangan ini: ChatGPT popular kerana keupayaannya memberikan jawapan yang sangat terperinci dan hampir seperti kehidupan kepada hampir semua soalan yang boleh difikirkan oleh seseorang. Kemunculan aplikasi model besar telah menjadikan orang ramai yakin dengan penemuan teknologi AI, tetapi hanya sedikit orang yang tahu bahawa di sebaliknya, rangka kerja pembelajaran mesin yang diedarkan sedang menggerakkan revolusi AI generatif ini.

Rangka kerja pengkomputeran yang diedarkan Ray daripada permulaan yang disokong A16z Anyscale adalah kunci untuk membolehkan OpenAI meningkatkan latihan modelnya seperti ChatGPT. Ray berada di belakang semua model bahasa berskala besar OpenAI baru-baru ini — dan ia juga mungkin rangka kerja di sebalik GPT-4 OpenAI yang dinanti-nantikan. Dengan pelaksanaan berterusan teknologi model berskala besar, orang dalam industri percaya bahawa industri bernilai berbilion dolar sedang dibentuk dengan menjana kandungan yang hampir dengan manusia.

Dalam bidang ini, Ray ialah rangka kerja yang paling berpengaruh. Sebelum kemunculannya, OpenAI menggunakan koleksi alatan tersuai untuk membangunkan model besar. Tetapi presiden OpenAI Greg Brockman berkata pada Sidang Kemuncak Ray awal tahun ini bahawa syarikat itu telah beralih kepada Ray apabila cabaran yang dihadapinya meningkat.

Lukas Biewald, Ketua Pegawai Eksekutif syarikat perisian Weights & Biases, percaya bahawa Ray sudah pun menjadi bintang yang sedang meningkat naik dalam dunia AI. "Oleh kerana alat baharu, anda boleh menjalankan kod yang sama pada komputer riba dan pada pelayan yang diedarkan yang besar. Itu perubahan besar, dan ia akan meningkatkan kepentingan apabila model semakin besar," kata Biewald.

Pertaruhan berbilion dolar

Apabila teknologi semakin matang, Ray telah menarik perhatian pasaran modal. Ekuiti Anyscale telah menjadi komoditi yang terhad, dengan Business Insider melaporkan bahawa pusingan pendanaan terbarunya, lanjutan daripada Siri Cnya, ditutup dalam beberapa hari pada penilaian lebih daripada $1 bilion, menurut orang yang mengetahui perkara itu.

Sesetengah pelabur telah menyifatkan Anyscale sebagai harapan Horowitz "Databricks seterusnya" — penerangan yang kelihatan munasabah, memandangkan pengasas bersama syarikat permulaan, Ion Stoica He ialah pengasas bersama Databricks, sebuah data gergasi dengan permodalan pasaran $31 bilion.

"Kecerdasan buatan berkembang pada kadar yang luar biasa dan orang ramai mencuba pendekatan baharu sepanjang masa," kata Robert Nishihara, Ketua Pegawai Eksekutif Anyscale. "ChatGPT menggabungkan banyak kerja sebelumnya pada model bahasa yang besar. Selain itu, anda perlu mempunyai infrastruktur yang membolehkan fleksibiliti, inovasi pantas dan pengembangan algoritma dan kaedah yang berbeza

Dengan model yang lebih besar di sebalik alatan baharu yang hangat seperti ChatGPT, syarikat teknologi perlu memikirkan semula cara mereka membangunkan AI dari bawah. Ray dilahirkan untuk memudahkan untuk melatih model besar ini dan boleh mengandungi ratusan bilion titik data, memberikan setiap respons rasa seakan-akan hidup.

Cara Ray menjadi alat pilihan untuk pembelajaran mesin

Ray ialah rangka kerja pengkomputeran teragih berdasarkan perkongsian memori, sesuai untuk pengkomputeran selari yang terperinci dan pengkomputeran heterogen. Ia menyediakan infrastruktur asas untuk mengurus tugas yang kompleks untuk mengedarkan kerja melatih model pembelajaran mesin.

Pada 2017, penyelidik UC Berkeley menyerahkan kertas kerja Ray "Ray: A Distributed Framework for Emerging AI Applications" buat pertama kali:

• Pautan kertas: https://arxiv.org/abs/1712.05889
• GitHub: https:// github.com/ray-project/ray

Dalam kerja ini, penyelidik meramalkan rupa generasi aplikasi AI seterusnya: interaksi berterusan dengan alam sekitar , dan belajar daripada tindakan interaktif. Aplikasi ini mesti semakin menyelesaikan tugas dalam persekitaran yang dinamik, bertindak balas terhadap perubahan dalam persekitaran dan melakukan satu siri tindakan untuk mencapai matlamat jangka panjang. Ciri-ciri ini telah mengemukakan keperluan sistem yang baharu dan menuntut dari segi prestasi dan fleksibiliti persekitaran operasi, jadi penyelidik telah mencadangkan rangka kerja Ray berasaskan teragih.

Ray melaksanakan antara muka bersatu yang boleh menyatakan keselarian tugasan dan pengiraan berasaskan aktor, disokong oleh enjin pelaksanaan dinamik tunggal. Untuk memenuhi keperluan prestasi, Ray menggunakan penjadual teragih dan storan tahan kerosakan yang diedarkan untuk mengurus keadaan kawalan sistem. Ia merupakan rangka kerja pengkomputeran teragih pertama yang menyatukan latihan, simulasi dan perkhidmatan Ia menyatukan pengiraan selari (pelakon) dan tugasan (tugas) berdasarkan enjin pelaksanaan tugas yang dinamik, dan memastikan kebolehskalaan tinggi dan prestasi tinggi rangka kerja toleransi.

Seni bina Ray.

Berdasarkan karya ini, pada Disember 2019, UC Berkeley Robert Nishihara, Philipp Moritz dan Ion Stoica dan profesor Berkeley Michael I. Jordan mengasaskan Anyscale, dan sehingga kini Syarikat itu telah mengumpulkan $260 juta setakat ini.

Pengamal pembelajaran mesin selalunya boleh menjalankan model kecil menggunakan set data terhad pada komputer riba mereka, seperti model ringkas yang meramalkan produk yang akan dibeli oleh pengguna. Walau bagaimanapun, komputer riba tidak sesuai untuk model yang sangat besar seperti ChatGPT, yang memerlukan pelayan besar untuk dilatih.

Melatih model menggunakan sejumlah besar peranti menghadapi cabaran penting - menyelaraskan latihan pada perkakasan yang berbeza. Ray hanya menyelesaikan masalah ini. Ia menyediakan pengamal mekanisme untuk mengurus perkakasan yang berbeza sebagai satu unit untuk menentukan data pergi ke mana, menangani kegagalan, dll. Jenis perkakasan merangkumi Google Cloud, AWS dan portfolio produk lain yang menangani masalah yang sama. . Selain itu, Ray juga memperluaskan "pelakon", konsep pengaturcaraan utama dalam bahasa lain, kepada Python, yang dikenali sebagai bahasa pilihan untuk program pembelajaran mesin.

Sebagai rangka kerja pengkomputeran yang diedarkan, Ray mempunyai dua kelebihan utama, iaitu lokasi-aware (Locality-aware) dan penempatan tugas (task placement) ) . Seperti yang ditunjukkan dalam rajah di bawah, Ray dapat menskalakan sistem untuk menyokong tugasan berbutir halus berkemampuan tinggi sambil mengekalkan toleransi kesalahan dan penjadualan tugas kependaman rendah.

Ray menghilangkan kerumitan besar daripada melatih model besar untuk OpenAI, membebaskan syarikat untuk menumpukan pada keupayaan utama model.

Generasi baharu AI memerlukan alatan pembangunan baharu, dan Ray hanyalah salah satu set alat pembelajaran mesin generasi akan datang yang pesat membangun yang mengganggu cara AI dibangunkan. Sebagai contoh, rangka kerja JAX Google juga telah mendapat perhatian besar JAX dijangka menjadi tulang belakang alat pembelajaran mesin teras Google dan telah diterima pakai secara meluas dalam DeepMind dan Google Brain.

Begitu juga, Coiled, sebuah syarikat permulaan yang disokong oleh FirstMark Capital dan Bessemer Venture Partners, telah membangunkan rangka kerja pengkomputeran selari yang dipanggil Dask.

Model bahasa berskala besar membuka lebih banyak potensi baru-baru ini, dan alatan pembelajaran mesin baharu ini akan membina model bahasa yang lebih berkuasa untuk gergasi teknologi dan syarikat permulaan dalam industri.

Atas ialah kandungan terperinci Ray, rangka kerja AI sumber terbuka di sebalik ChatGPT, kini bernilai $1 bilion. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!