'Yi Tay: Seorang saintis yang meninggalkan Google dan memulakan jalan keusahawanan, menerbitkan 16 kertas kerja berkualiti tinggi dalam masa tiga tahun'

Pada hari kedua selepas GPT-4 dikeluarkan, pemenang Anugerah Turing Geoffrey Hinton menyumbangkan metafora yang indah: "Seekor ulat mengekstrak nutrien daripada makanan dan kemudian bertukar menjadi rama-rama. Orang Berbilion-bilion petunjuk pemahaman telah diekstrak, GPT-4 adalah rama-rama kemanusiaan 》

Dalam masa dua minggu, rama-rama ini nampaknya telah menyebabkan ribut taufan dalam semua bidang. Sehubungan itu, industri AI telah memulakan gelombang keusahawanan baharu. Antaranya ramai usahawan yang datang dari syarikat besar seperti Google.

Jika anda sering membaca kertas mengenai model AI yang besar, Yi Tay mestilah nama yang biasa. Sebagai Saintis Penyelidikan Kanan di Google Brain, Yi Tay telah menyumbang kepada banyak model bahasa berskala besar dan model berbilang modal yang terkenal, termasuk PaLM, UL2, Flan-U-PaLM, LaMDA/Bard, ViT-22B, PaLI, MUM, dan lain-lain.

Menurut statistik peribadi Yi Tay, selama 3.3 tahun beliau di Google Brain, beliau telah mengambil bahagian dalam menulis sejumlah kira-kira 45 kertas kerja, dan merupakan pengarang bersama 16 daripadanya. Kertas kerja yang dikarang termasuk UL2, U-PaLM, DSI, Synthesizer, Charformer dan Arena Jarak Jauh, dsb.

Seperti kebanyakan pengarang Transformer yang meninggalkan Google untuk memulakan perniagaan mereka sendiri, Yi Tay juga menemui masa yang sesuai untuk pergi dan bergerak ke arah kehidupan baharu. perjalanan.

Dalam catatan blog, Yi Tay secara rasmi mengumumkan berita peletakan jawatannya, dan mendedahkan langkah seterusnya dalam maklumat peribadinya yang dikemas kini: menyertai penubuhan sebuah syarikat bernama syarikat Reka, dan berkhidmat sebagai ketua saintis syarikat, memberi tumpuan kepada model bahasa berskala besar.

Yi Tay turut mendedahkan bahawa Reka berpangkalan di San Francisco Bay Area dan diasaskan bersama oleh pasukan kuat bekas penyelidik dan jurutera DeepMind, FAIR dan Google Brain.

Selain Yi Tay, Liu Qi, penolong profesor Jabatan Sains Komputer di Universiti Hong Kong, juga menyebut di laman utama peribadinya bahawa dia mengambil bahagian dalam penciptaan sebuah syarikat bernama "Reka" khusus untuk pembangunan pelbagai mod model asas dinamik. Semasa pengajian PhDnya, Liu Qi telah menjalani latihan di Google untuk satu tempoh masa, dan mengarang bersama kertas kerja seperti "Pembenaman Graf Pengetahuan Quaternion" dengan Yi Tay.

Memandangkan laman web rasmi "Reka" masih belum dibuka, kami tidak dapat mendapatkan maklumat lanjut mengenai syarikat buat sementara waktu.

Sempena mengucapkan selamat tinggal kepada Google, Yi Tay dengan penuh rasa syukur menulis blog, mengatakan bahawa meninggalkan Google memang terasa seperti tamat pengajian, kerana dia telah belajar daripada Google dan rakan sekerjanya yang cemerlang, saya banyak belajar daripada mentor dan pengurus saya.

Google akan sentiasa istimewa bagi saya kerana di situlah saya belajar melakukan penyelidikan yang benar-benar hebat. Saya teringat kembali semasa saya mula-mula menyertai, apabila saya melihat pengarang banyak kertas terkenal dan berpengaruh dalam jarak yang begitu dekat, saya seperti peminat bertemu bintang kegemaran. Ini adalah rangsangan deria yang hebat untuk saya, sangat memotivasi dan memberi inspirasi. Sehingga hari ini, saya masih bersyukur kerana saya dapat bekerja dan belajar dengan ramai daripada mereka, sekurang-kurangnya sebelum kebanyakan mereka pergi.

Saya belajar banyak.

Dari perspektif yang lebih luas, saya mempelajari kepentingan menjalankan penyelidikan kritikal dan cara memacu penyelidikan ke arah matlamat untuk memberi impak yang konkrit. Di kolej, kami hanya diberitahu bahawa kami mesti menyerahkan N bilangan kertas persidangan (untuk menamatkan pengajian atau melakukan perkara lain). Di Google, perkara-perkara harus berjalan lancar, dan ia mesti mempunyai kesan yang nyata.

Bagi saya, inspirasi terbesar di sini adalah tentang bagaimana untuk memiliki proses inovasi penyelidikan secara menyeluruh, iaitu dari idea kepada kertas/paten, kepada pengeluaran, dan akhirnya melayani pengguna. Pada sebahagian besarnya, saya fikir proses ini menjadikan saya seorang penyelidik yang lebih baik.

Jika saya perlu menerangkan pertumbuhan saya, saya rasa keseluruhan proses penyelidikan saya boleh dikatakan "lancar" dan bukannya "mendadak." Saya rasa kebolehan penyelidikan saya sendiri bertambah baik secara linear dari semasa ke semasa apabila saya bertambah baik dan apabila saya semakin tenggelam dalam budaya Google. Ia seperti proses penyebaran. Sehingga hari ini, saya masih percaya bahawa persekitaran penyelidikan adalah sangat penting.

Semua orang mengatakan bahawa "orang" ialah faedah terbesar Google. Saya sangat setuju. Saya sentiasa berterima kasih kepada semua rakan kerjasama rapat dan mentor saya yang telah memainkan peranan besar dalam pertumbuhan saya sebagai penyelidik dan sebagai seorang individu.

Dari lubuk hati saya, saya ingin mengucapkan terima kasih kepada pengurus saya sekarang (Quoc Le) dan pengurus saya sebelum ini (Don Metzler) kerana memberi saya peluang untuk bekerja bersama dan sentiasa membantu saya dan menjaga saya Saya - bukan hanya sebagai orang bawahan, tetapi sebagai manusia. Saya juga ingin mengucapkan terima kasih kepada veteran seperti Ed Chi, Denny Zhou dan Slav Petrov kerana menyokong saya sepanjang perjalanan ini. Akhir sekali, saya ingin mengucapkan terima kasih kepada Andrew Tomkins, yang menyukai saya dan mengupah saya untuk menyertai Google.

Saya juga ingin mengucapkan terima kasih kepada rakan/rakan sejawat terdekat saya (Mostafa Dehghani, Vinh Tran, Jason Wei, Hyung Won, Steven Zheng, Siamak Shakeri) kerana meluangkan masa bersama saya selama ini. : berkongsi topik hangat, belajar antara satu sama lain, menulis kertas kerja bersama-sama, dan membincangkan penyelidikan. ​

Perlu dinyatakan bahawa walaupun gelombang keusahawanan model AI berskala besar telah dilancarkan di luar negara, syarikat pemula domestik juga telah melancarkan perang sengit untuk bakat. Sebagai contoh, beberapa media mendedahkan bahawa Wang Huiwen, yang berhasrat membina OpenAI China, juga sedang merekrut tentera dan merancang untuk memperoleh dua syarikat NLP Tsinghua: Teknologi Shenyan dan Perisikan Menghadapi Dinding. Lajur AI Heart of the Machine Talent juga mengetahui bahawa makmal AI domestik terkemuka, pelbagai syarikat permulaan dan beberapa institusi pelaburan kuantitatif juga sedang giat mencari bakat model yang besar.

Atas ialah kandungan terperinci 'Yi Tay: Seorang saintis yang meninggalkan Google dan memulakan jalan keusahawanan, menerbitkan 16 kertas kerja berkualiti tinggi dalam masa tiga tahun'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!