Sam Altman bercakap tentang OpenAI: Menghadapi panik kekurangan GPU, GPT-3 mungkin sumber terbuka

Sejak kemunculan ChatGPT, model besar dan teknologi AI telah menarik perhatian meluas di seluruh dunia. Di satu pihak, orang kagum dengan keupayaan model besar yang muncul di sisi lain, mereka bimbang tentang kebolehkawalan dan pembangunan kecerdasan buatan masa depan. Tahun ini, ramai pakar dalam bidang AI, termasuk pemenang Anugerah Turing Geoffrey Hinton dan Yoshua Bengio, telah bersama-sama memberi amaran bahawa model AI yang besar akan menyebabkan beberapa risiko, malah ada yang menggesa untuk menghentikan pembangunan besar berikutnya. Model AI untuk GPT-4.

OpenAI, sebagai syarikat di sebalik model besar seperti ChatGPT dan GPT-4, sudah pasti telah diketengahkan. Ketua Pegawai Eksekutif OpenAI Sam Altman kini sedang dalam lawatan bercakap global untuk menghilangkan "ketakutan" orang ramai tentang kecerdasan buatan dan mendengar pendapat pembangun dan pengguna produk OpenAI.

Menurut Fortune, pada bulan Mei, Sam Altman bertemu secara tertutup dengan beberapa pembangun dan pengasas permulaan Dan bercakap tentang Pelan hala tuju dan cabaran OpenAI. Salah seorang peserta dalam mesyuarat tertutup ini, Raza Habib, pengasas bersama dan Ketua Pegawai Eksekutif Humanloop, baru-baru ini menyebut perancangan produk dan kesesakan pembangunan OpenAI dalam sebuah blog.

Blog asal telah dipadamkan, tetapi beberapa netizen telah memuat naik snapshot (salinan) blog tersebut Mari kita lihat kandungan khusus blog tersebut:

OpenAI kini menghadapi Masalah terbesar ialah ia dihadkan oleh GPU

Pada masa ini OpenAI menghadapi had GPU yang sangat teruk, yang juga telah menangguhkan pelaksanaan beberapa rancangan jangka pendek mereka . Aduan pelanggan yang paling biasa hari ini adalah tentang kebolehpercayaan dan kelajuan API. Sam mengakui masalah itu, menjelaskan bahawa kebanyakan isu yang diadukan oleh pelanggan adalah disebabkan oleh kekurangan GPU.

Mengenai penggunaan teks, konteks 32k yang lebih panjang belum tersedia kepada lebih ramai orang. Kini OpenAI belum sepenuhnya mengatasi masalah pengembangan O (n^2) mekanisme perhatian Walaupun OpenAI nampaknya dapat mencapai tetingkap konteks token 100k-1M (dalam tahun ini) pemprosesan teks tidak lama lagi, tetingkap pemprosesan teks yang lebih besar memerlukan kemajuan selanjutnya. penemuan penyelidikan.

Bukan itu sahaja, API penalaan halus kini dihadkan oleh bekalan GPU. OpenAI belum lagi menggunakan kaedah penalaan halus yang cekap seperti Penyesuai atau LoRa, jadi penalaan halus sangat intensif secara pengiraan untuk dijalankan dan diurus. Sam mendedahkan bahawa teknologi penalaan halus yang lebih baik akan diperkenalkan pada masa hadapan, malah mereka mungkin menyediakan komuniti khusus untuk model penyelidikan.

Selain itu, peruntukan kapasiti khusus juga dihadkan oleh bekalan GPU. OpenAI juga menawarkan kapasiti khusus, memberikan pelanggan salinan peribadi model mereka. Untuk menggunakan perkhidmatan ini, pelanggan mesti bersedia untuk memberikan $100,000 di hadapan.

Pelan hala tuju OpenAI terbaharu

Semasa perbualan, Sam berkongsi pelan hala tuju OpenAI API, yang kebanyakannya dibahagikan kepada dua peringkat:

Laluan untuk 2023:

• Keutamaan pertama OpenAI ialah melancarkan GPT-4 yang lebih murah dan pantas - secara keseluruhan, matlamat OpenAI ialah Mengurangkan kos perisikan sebanyak mungkin , jadi kos API akan berkurangan dari semasa ke semasa.
• Tetingkap konteks yang lebih panjang - Dalam masa terdekat, tetingkap konteks mungkin setinggi 1 juta token.
• Nudge API - API tweak akan diperluaskan kepada model terkini, tetapi bentuk tepatnya akan ditentukan oleh pembangun.
• Status API - Kini apabila memanggil API sembang, anda perlu melalui sejarah perbualan yang sama berulang kali dan membayar token yang sama berulang kali. Versi masa hadapan API akan dapat mengingati sejarah sesi.
• Road 2024:
• Multimodal - Ini ditunjukkan sebagai sebahagian daripada keluaran GPT-4, tetapi lebih banyak lagi Ia tidak akan berskala kepada semua orang sehingga GPU datang dalam talian.

Pemalam tidak mempunyai PMF dan tidak akan berada dalam API dalam masa terdekat

Ramai pembangun berminat untuk mengakses pemalam ChatGPT melalui API, tetapi Sam berkata Dia tidak fikir pemalam ini akan dikeluarkan dalam masa terdekat. Penggunaan pemalam selain daripada menyemak imbas menunjukkan mereka belum mempunyai PMF lagi. Sam menegaskan bahawa ramai orang mahu aplikasi mereka berada dalam ChatGPT, tetapi apa yang mereka benar-benar mahukan ialah ChatGPT dalam aplikasi.

OpenAI akan mengelak daripada bersaing dengan pelanggannya kecuali dengan yang seperti ChatGPT

Ramai pembangun mengatakan bahawa apabila OpenAI mengeluarkan produk baharu, mereka gementar tentang aplikasi yang dibina menggunakan OpenAI API kerana OpenAI mungkin akan mengeluarkannya. produk yang bersaing. Sam berkata OpenAI tidak akan mengeluarkan lebih banyak produk selain ChatGPT. Beliau berkata terdapat banyak syarikat platform hebat yang mempunyai aplikasi pembunuh dan ChatGPT akan membolehkan mereka menjadikan API mereka lebih baik dengan menjadi pelanggan produk mereka sendiri. Visi untuk ChatGPT adalah untuk menjadi pembantu kerja yang sangat pintar, tetapi terdapat banyak kes penggunaan GPT lain yang OpenAI tidak akan hadapi.

Peraturan adalah perlu, tetapi begitu juga sumber terbuka

Walaupun Sam menyokong pengawalseliaan model masa hadapan, dia tidak percaya bahawa model sedia ada adalah berbahaya, Dan berfikir mengawal selia atau melarang mereka akan menjadi satu kesilapan besar. Beliau sekali lagi menekankan kepentingan sumber terbuka dan berkata OpenAI sedang mempertimbangkan sumber terbuka GPT-3. Sebahagian daripada sebab OpenAI lambat untuk membuka sumber adalah kerana mereka merasakan tidak ramai orang dan syarikat yang mempunyai keupayaan untuk mengurus model bahasa besar tersebut dengan betul.

Undang-undang pengembangan masih wujud

Banyak artikel baru-baru ini mendakwa bahawa "era model AI gergasi telah berakhir". Sam berkata itu tidak menyampaikan dengan tepat apa yang dia maksudkan.

Data dalaman OpenAI menunjukkan bahawa undang-undang penskalaan masih berlaku, dan saiz model yang semakin meningkat akan terus meningkatkan prestasi. Walau bagaimanapun, saiz model tidak boleh sentiasa meningkat pada skala yang sama, kerana OpenAI telah meningkatkan saiz model berjuta-juta kali dalam beberapa tahun sahaja, dan terus berbuat demikian akan menjadi tidak mampan. Tetapi itu tidak bermakna OpenAI akan berhenti mencuba untuk menjadikan modelnya lebih besar, tetapi ini bermakna saiznya mungkin dua kali ganda atau tiga kali ganda setiap tahun dan bukannya berkembang mengikut urutan magnitud.

Fakta bahawa model lanjutan masih sah mempunyai implikasi penting untuk pembangunan AGI. Idea penskalaan ialah kita mungkin sudah mempunyai kebanyakan elemen yang diperlukan untuk membina AGI, dan kebanyakan kerja yang tinggal akan menggunakan kaedah sedia ada dan menskalakannya kepada model yang lebih besar dan set data yang lebih besar. Jika era sambungan model sudah tamat, ia akan menjadi lebih lama lagi sebelum kita mencapai AGI. Hakikat bahawa undang-undang penskalaan masih terpakai membayangkan bahawa kita akan mencapai AGI dalam masa yang lebih singkat.

Atas ialah kandungan terperinci Sam Altman bercakap tentang OpenAI: Menghadapi panik kekurangan GPU, GPT-3 mungkin sumber terbuka. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!