Am Tag nach der Veröffentlichung von GPT-4 steuerte Turing-Award-Gewinner Geoffrey Hinton eine wunderbare Metapher bei: „Eine Raupe extrahiert Nährstoffe aus der Nahrung und verwandelt sich dann in einen Schmetterling. Menschen haben Milliarden von Verständnisstücken gewonnen. Hinweise, GPT- „4 ist der menschliche Schmetterling“
In nur zwei Wochen scheint dieser Schmetterling auf verschiedenen Feldern einen Hurrikan ausgelöst zu haben. Dementsprechend hat die KI-Branche eine neue Welle des Unternehmertums eingeläutet. Darunter sind viele Unternehmer, die von großen Unternehmen wie Google kommen.
Wenn Sie häufig Artikel über große KI-Modelle lesen, muss Yi Tay ein bekannter Name sein. Als leitender Forschungswissenschaftler bei Google Brain hat Yi Tay zu vielen bekannten groß angelegten Sprachmodellen und multimodalen Modellen beigetragen, darunter PaLM, UL2, Flan-U-PaLM, LaMDA/Bard, ViT-22B, PaLI, MUM und andere.
Laut Yi Tays persönlicher Statistik war er während seiner 3,3 Jahre bei Google Brain an der Erstellung von insgesamt etwa 45 Artikeln beteiligt und war Co-Autor von 16 davon. Zu den verfassten Artikeln gehören UL2, U-PaLM, DSI, Synthesizer, Charformer und Long Range Arena usw.
Wie die meisten Transformer-Autoren, die Google verließen, um ihr eigenes Unternehmen zu gründen, fand auch Yi Tay einen geeigneten Zeitpunkt, um zu gehen und eine neue Lebensreise anzutreten.
In einem Blogbeitrag gab Yi Tay offiziell die Nachricht von seinem Rücktritt bekannt und enthüllte in seinem aktualisierten Profil seinen nächsten Schritt: sich an der Gründung eines Unternehmens namens Reka zu beteiligen und als CEO und Chefwissenschaftler des Unternehmens zu fungieren, wobei er sich auf Folgendes konzentriert: groß angelegte Sprachmodelle.
Yi Tay gab außerdem bekannt, dass Reka seinen Sitz in der San Francisco Bay Area hat und von einem starken Team ehemaliger Forscher und Ingenieure von DeepMind, FAIR und Google Brain mitbegründet wurde.
Neben Yi Tay erwähnte auch Liu Qi, Assistenzprofessor am Fachbereich Informatik der Universität Hongkong, auf seiner persönlichen Homepage, dass er sich an der Gründung eines Unternehmens namens „Reka“ beteiligt, dem er sich widmet die Entwicklung multimodaler Basismodelle. Während seines Doktoratsstudiums absolvierte Liu Qi eine Zeit lang ein Praktikum bei Google und verfasste gemeinsam mit Yi Tay Artikel wie „Quaternion Knowledge Graph Embedding“.
Da die offizielle Website von „Reka“ noch nicht geöffnet werden kann, können wir vorübergehend keine weiteren Informationen über das Unternehmen erhalten.
Anlässlich seines Abschieds von Google schrieb Yi Tay in einem Blog voller Dankbarkeit, dass es sich wie ein Abschluss anfühlte, Google zu verlassen, weil er viel von Google und seinen hervorragenden Kollegen, Mentoren und Managern gelernt habe.
Google wird für mich immer etwas Besonderes sein, weil ich dort gelernt habe, wirklich großartige Recherchen durchzuführen. Ich denke an die Zeit zurück, als ich zum ersten Mal beigetreten bin, als ich die Autoren so vieler berühmter und einflussreicher Zeitungen so nah beieinander sah, ich war wie ein Fan, der seinen Lieblingsstar trifft. Das ist für mich eine tolle Sinnesstimulation, sehr motivierend und inspirierend. Bis heute bin ich dankbar, dass ich mit vielen von ihnen arbeiten und studieren durfte, zumindest bevor die meisten von ihnen gingen.
Ich habe viel gelernt.
Aus einer breiteren Perspektive habe ich gelernt, wie wichtig die Durchführung kritischer Forschung ist und wie man die Forschung auf das Ziel hin ausrichtet, eine konkrete Wirkung zu erzielen. Im College wird uns nur gesagt, dass wir N Konferenzbeiträge einreichen müssen (um unseren Abschluss zu machen oder andere Dinge zu tun). Bei Google müssen die Dinge voll durchstarten und eine echte Wirkung erzielen.
Für mich ist die größte Inspiration hier die Frage, wie man den Forschungsinnovationsprozess durchgängig steuern kann, d. h. von der Idee über Papier/Patent bis hin zur Produktion und schließlich im Dienste der Benutzer. Ich denke, dieser Prozess hat mich zu einem großen Teil zu einem besseren Forscher gemacht.
Wenn ich mein Wachstum beschreiben muss, denke ich, dass mein gesamter Forschungsprozess eher „reibungslos“ als „plötzlich“ verlaufen kann. Ich denke, meine eigenen Recherchefähigkeiten haben sich im Laufe der Zeit linear verbessert, je besser ich wurde und je mehr ich in die Google-Kultur eintauchte. Es ist wie ein Diffusionsprozess. Bis heute glaube ich immer noch, dass das Forschungsumfeld sehr wichtig ist.
Jeder sagt, dass „Menschen“ der größte Vorteil von Google sind. Ich stimme voll und ganz zu. Ich bin all meinen engen Mitarbeitern und Mentoren für immer dankbar, die eine große Rolle bei meiner Entwicklung als Forscherin und als Mensch gespielt haben.
Aus tiefstem Herzen möchte ich meinem aktuellen Manager (Quoc Le) und meinem vorherigen Manager (Don Metzler) dafür danken, dass sie mir die Möglichkeit gegeben haben, zusammenzuarbeiten und mir immer geholfen und sich um mich gekümmert haben – nicht nicht nur als Untergebener, sondern auch als Mensch. Ich möchte auch Veteranen wie Ed Chi, Denny Zhou und Slav Petrov dafür danken, dass sie mich auf dieser Reise unterstützt haben. Abschließend möchte ich Andrew Tomkins danken, der Gefallen an mir fand und mich für Google engagierte.
Ich möchte auch meinen engsten Freunden/Mitarbeitern (Mostafa Dehghani, Vinh Tran, Jason Wei, Hyung Won, Steven Zheng, Siamak Shakeri) für all die lustigen Zeiten danken, die sie mit mir verbracht haben: Heiße Themen austauschen, voneinander lernen , schreiben Sie gemeinsam Aufsätze und diskutieren Sie über Forschungsergebnisse.
Es ist erwähnenswert, dass die Welle des groß angelegten KI-Modellunternehmertums zwar im Ausland gestartet ist, aber auch inländische Startups einen erbitterten Kampf um Talente begonnen haben. Einige Medien enthüllten beispielsweise, dass Wang Huiwen, der Chinas OpenAI aufbauen will, ebenfalls Truppen rekrutiert und plant, zwei Tsinghua-NLP-Unternehmen zu übernehmen: Shenyan Technology und Wall-Facing Intelligence. Die „Heart of the Machine Talent AI“-Kolumne erfuhr außerdem, dass führende inländische KI-Labore, mehrere Start-ups und eine Reihe quantitativer Investmentinstitute ebenfalls aktiv nach großen Modelltalenten suchen.
Das obige ist der detaillierte Inhalt von„Yi Tay: Ein Wissenschaftler, der Google verließ und den Weg des Unternehmertums einschlug und in drei Jahren 16 hochwertige Artikel veröffentlichte.'. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
