'이태: 구글을 떠나 창업의 길에 뛰어들어 3년 동안 16편의 수준 높은 논문을 낸 과학자'

GPT-4가 출시된 다음 날, Turing Award 수상자 Geoffrey Hinton은 멋진 비유를 제공했습니다. "애벌레는 음식에서 영양분을 추출한 다음 나비로 변합니다. 사람들은 수십억 개의 이해 단서를 추출했습니다. GPT- 4는 인간나비

단 2주 만에 이 나비가 여러 분야에 허리케인을 일으킨 것 같습니다. 이에 따라 AI 산업은 새로운 창업 바람을 불러일으켰다. 그 중에는 구글 등 대기업 출신 기업인도 많다.

대형 AI 모델에 관한 논문을 자주 읽는다면 이태이(Yi Tay)라는 이름이 익숙할 것입니다. Google Brain의 수석 연구원인 Yi Tay는 PaLM, UL2, Flan-U-PaLM, LaMDA/Bard, ViT-22B, PaLI, 엄마, 그리고 다른 사람들.

이태 개인 통계에 따르면, 이태이는 구글 브레인에서 3년 반 동안 근무하면서 총 45편 정도의 논문 집필에 참여했고, 그 중 16편의 공동저자였습니다. 저자 논문에는 UL2, U-PaLM, DSI, Synthesizer, Charformer 및 Long Range Arena 등이 포함됩니다.

Google을 떠나 자신의 사업을 시작한 대부분의 Transformer 작가들처럼 Yi Tay도 떠나고 새로운 인생 여정을 시작할 적절한 시기를 찾았습니다.

이태는 블로그 게시물을 통해 공식적으로 사임 소식을 알렸고, 업데이트된 프로필에서 그의 다음 행보를 공개했습니다. 레카라는 회사의 창립에 참여하고 회사의 CEO 수석 과학자로 활동하는 것입니다. 대규모 언어 모델.

Yi Tay는 또한 Reka가 샌프란시스코 베이 지역에 기반을 두고 있으며 전 DeepMind, FAIR 및 Google Brain 연구원 및 엔지니어로 구성된 강력한 팀이 공동 창립했다고 밝혔습니다.

Yi Tay 외에도 홍콩대학교 컴퓨터과학과 조교수인 Liu Qi도 자신의 개인 홈페이지에서 "Reka"라는 회사 설립에 참여하고 있다고 언급했습니다. 다중 모드 기본 모델 개발. 박사 과정 동안 Liu Qi는 일정 기간 동안 Google에서 인턴으로 일했으며 Yi Tay와 함께 "Quaternion Knowledge Graph Embedding"과 같은 논문을 공동 집필했습니다.

아직 "레카" 공식 홈페이지를 오픈할 수 없어 일시적으로 회사에 대한 추가 정보를 얻을 수 없습니다.

이태이는 구글과의 작별을 계기로 구글을 떠나는 것이 마치 졸업을 한 기분이었다며 감사의 마음을 담은 블로그를 작성했다. 구글과 뛰어난 동료들, 멘토들, 매니저들에게 많은 것을 배웠기 때문이다.

Google은 제가 정말 훌륭한 연구를 수행하는 방법을 배운 곳이기 때문에 저에게 항상 특별할 것입니다. 제가 처음 입사했을 때, 유명하고 영향력 있는 수많은 논문의 저자들을 이렇게 가까이서 볼 때 마치 좋아하는 스타의 팬미팅 같았던 기억이 납니다. 이것은 나에게 큰 감각적 자극이며 동기를 부여하고 영감을 줍니다. 나는 오늘날까지도 적어도 그들 대부분이 떠나기 전에 그들 중 많은 사람들과 함께 일하고 공부할 수 있게 된 것에 대해 여전히 감사하고 있습니다.

많이 배웠습니다.

더 넓은 관점에서 비판적 연구 수행의 중요성과 구체적인 영향을 미치는 목표를 향해 연구를 추진하는 방법을 배웠습니다. 대학에서는 (졸업이나 다른 일을 하려면) N개의 컨퍼런스 논문을 제출해야 한다고만 합니다. Google에서는 모든 일이 순조롭게 진행되어야 하며 실질적인 영향을 미쳐야 합니다.

저에게 있어 가장 큰 영감은 아이디어부터 종이/특허, 생산, 그리고 최종적으로 사용자에게 서비스를 제공하는 엔드투엔드 방식으로 연구 혁신 프로세스를 소유하는 방법에 대한 것입니다. 대체로 이 과정이 나를 더 나은 연구자로 만들었다고 생각합니다.

저의 성장을 굳이 표현하자면, 저의 전체적인 연구 과정은 '갑작스럽다'기 보다는 '순조롭다'라고 할 수 있을 것 같습니다. 시간이 지나면서 실력이 향상되고 Google 문화에 더욱 몰입하게 되면서 내 연구 능력도 선형적으로 향상되었다고 생각합니다. 확산 과정과 같습니다. 저는 지금도 연구 환경이 매우 중요하다고 생각합니다.

모두들 구글의 가장 큰 장점은 '사람'이라고 말합니다. 나는 전적으로 동의합니다. 연구자로서 그리고 인간으로서 제가 성장하는 데 큰 역할을 해주신 가까운 협력자들과 멘토들 모두에게 영원히 감사드립니다.

저에게 함께 일할 수 있는 기회를 주시고 항상 도와주시고 보살펴주신 현 매니저(Quoc Le)와 전 매니저(Don Metzler)에게 진심으로 감사하다는 말씀 전하고 싶습니다. A 부하로서뿐만 아니라 사람으로서도 마찬가지입니다. 또한 이번 여행 내내 저를 지원해준 Ed Chi, Denny Zhou, Slav Petrov와 같은 베테랑들에게도 감사의 말씀을 전하고 싶습니다. 마지막으로, 나를 좋아하고 Google에 채용해 준 Andrew Tomkins에게 감사의 말씀을 전하고 싶습니다.

저와 함께 즐거운 시간을 보내주신 가장 친한 친구/협력자(Mostafa Dehghani, Vinh Tran, Jason Wei, 형원, Steven Zheng, Siamak Shakeri)에게도 감사의 말씀을 전하고 싶습니다. 핫 토픽 공유, 서로에게서 배우기 , 함께 논문을 작성하고 연구에 대해 토론하십시오. ​

해외에서 대규모 AI 모델 창업 열풍이 불고 있는 가운데, 국내 스타트업들도 인재 확보에 치열한 경쟁을 벌이고 있다는 점은 주목할 만하다. 예를 들어, 일부 언론에서는 중국의 OpenAI 구축을 목표로 하는 Wang Huiwen도 군대를 모집하고 있으며 Tsinghua NLP 회사인 Shenyan Technology와 Wall-Facing Intelligence를 인수할 계획이라고 밝혔습니다. Heart of the Machine Talent AI 칼럼에서는 국내 최고 AI 연구실과 다수의 스타트업, 다수의 퀀트 투자 기관에서도 대형 모델 인재를 적극적으로 찾고 있다는 사실도 알게 됐다.

위 내용은 '이태: 구글을 떠나 창업의 길에 뛰어들어 3년 동안 16편의 수준 높은 논문을 낸 과학자'의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!