2023년이 다가오고 있습니다. Ng Enda, Bengio 및 기타 빅맨들의 연간 전망입니다! 합리적인 AI 모델이 등장하는가?

3일도 안남으면 2022년이 지나갑니다.

옛 것에 작별을 고하고 새 것을 환영하면서 Ng Enda, Bengio 및 기타 AI 거물들이 DeepLearning.ai에 모여 2023년을 각자의 눈으로 바라보았습니다.

DeepLearning.ai의 창립자인 Andrew Ng는 먼저 환영 연설을 하고 자신이 처음 연구를 시작했던 시절을 회상했으며, 이는 많은 유명 인사가 관련된 이 토론의 좋은 시작이 되었습니다.

친애하는 친구 여러분,

새해를 맞이하면서 2023년을 단 한 해만 생각하지 말고, 장기적인 목표를 달성하는 미래의 해로 생각합시다. 첫해. 일부 결과는 달성하는 데 오랜 시간이 걸리지만 단순히 하나의 이정표에서 다음 이정표로 이동하는 것보다 경로를 구상하면 이를 더 효과적으로 수행할 수 있습니다.

어렸을 때는 단기적인 행동과 장기적인 결과 사이에 구체적인 연관성이 거의 없었습니다. 막연한 10년 목표는 있지만 거기까지 갈 길이 뚜렷하지 않다며 늘 다음 목표나 프로젝트, 연구 논문에 집중하곤 했다.

10년 전 저는 일주일 만에 첫 번째 기계 학습 과정을 만들었습니다(종종 오전 2시에 촬영함). 올해는 머신러닝 전공 강좌 내용을 업데이트하고 전체 강좌를 더 잘 계획했습니다(아직 새벽 2시에 촬영하는 것도 있지만 횟수가 줄었습니다!).

이전 사업에서는 제품을 만든 후 고객에게 어떻게 전달할지 고민하는 편이었습니다. 요즘은 초기 단계에서도 고객의 요구에 대해 더 많이 생각합니다.

친구와 멘토의 피드백은 비전을 형성하는 데 도움이 될 수 있습니다. 내 성장의 큰 발걸음은 특정 전문가와 멘토의 조언을 신뢰하고 그것을 이해하려고 노력하는 법을 배운 것입니다. 예를 들어, 글로벌 지정학 전문가인 친구들이 가끔 특정 국가에 더 많이 투자하라고 조언하기도 합니다.

저는 이 나라들에 대해 잘 모르기 때문에 스스로 결론을 내릴 수 없습니다. 하지만 나는 내 장기 계획을 설명하고, 피드백을 구하고, 그들이 나에게 다른 방향을 지시할 때 주의 깊게 듣는 법을 배웠습니다.

현재 저의 최고 목표 중 하나는 AI 혁신을 민주화하는 것입니다. 더 많은 사람들이 맞춤형 인공지능 시스템을 구축하고 혜택을 누릴 수 있도록 해주세요. 이 목표를 향한 길은 멀고 험난했지만, 거기에 이르기까지의 단계를 알 수 있었고, 친구들과 멘토들의 조언이 내 생각에 큰 영향을 미쳤습니다.

2023년이 다가온 지금, 미래를 얼마나 멀리 계획할 수 있나요? 특정 주제에 대한 전문 지식을 얻고 싶거나, 경력을 쌓고 싶거나, 기술적인 문제를 해결하고 싶나요? 경로를 가정하고(테스트되지 않은 경우에도) 피드백을 요청하여 이를 테스트하고 개선하시겠습니까?

2023년에도 꿈을 꾸세요.

새해 복 많이 받으세요!

Andrew Ng

Yoshua Bengio: 합리적인 AI 모델을 찾고 있습니다

과거 딥 러닝의 발전은 주로 최신 아키텍처 채택, 하드웨어 개선, 컴퓨팅 성능, 데이터 및 규모 확장이라는 '기적 강화'에 기반을 두었습니다. 우리에게 필요한 아키텍처가 이미 있고 남은 것은 계속 확장할 수 있도록 더 나은 하드웨어와 데이터 세트를 개발하는 것뿐입니다. 지금은 빠진 것이 있나요?

뭔가 부족한 것 같은데, 내년에는 이 부족한 것들을 찾아보시길 바랍니다.

저는 신경과학자, 인지신경과학자들과 협력하여 최첨단 시스템과 인간 사이의 격차를 연구해 왔습니다. 단순히 모델 크기를 늘리는 것만으로는 이 격차를 메울 수 없습니다. 대신, 현재 모델에 높은 수준의 개념과 그 관계를 발견하고 추론하는 인간과 같은 능력을 구축하면 격차가 더욱 넓어질 수 있습니다.

새로운 작업, 즉 '샘플 복잡성'을 학습하는 데 필요한 예의 수를 생각해 보세요. 새로운 비디오 게임을 플레이하기 위해 딥러닝 모델을 훈련하려면 인간이 매우 빠르게 배울 수 있는 많은 게임플레이가 필요합니다. 그러나 컴퓨터는 A에서 B로 효율적인 경로를 계획하기 위해 수많은 가능성을 고려해야 합니다. 인간에게는 그것이 필요하지 않습니다.

인간은 올바른 지식 조각을 선택하고 해당 조각을 결합하여 관련 설명, 답변 또는 계획을 형성할 수 있습니다. 더욱이, 일련의 변수가 주어지면 인간은 어떤 것이 원인이고 어떤 것이 결과인지 판단하는 데 매우 능숙합니다. 현재의 인공지능 기술은 이 능력에 있어서 인간 수준에 근접하지 않습니다.

일반적으로 AI 시스템은 생성된 답변과 솔루션이 실제로 틀렸더라도 정확성에 대해 높은 확신을 가지고 있습니다. 이 문제는 텍스트 생성기나 챗봇 같은 애플리케이션에서는 웃긴 농담일 수도 있지만, 자율주행차나 의료 진단 시스템에서는 생명을 위협할 수도 있습니다.

현재 AI 시스템의 동작은 부분적으로 그렇게 하도록 설계되었기 때문입니다. 예를 들어, 텍스트 생성기는 내부 데이터 구조를 설정하거나 작동하는 개념과 그 사이의 관계를 설명하기보다는 다음 단어를 예측하도록 훈련됩니다.

하지만 현재 딥러닝 방법의 많은 장점을 활용하면서도 사물의 의미를 추적하고 추론할 수 있는 AI 시스템을 설계할 수 있다고 생각합니다. 이는 과도한 샘플 복잡성부터 과신의 부정확성까지 다양한 문제를 해결합니다.

문서 링크: https://arxiv.org/pdf/2111.09266.pdf​

저는 "Generative Flow Network"의 일부인 GFlowNets에 매우 관심이 있습니다. 우리 팀 딥 네트워크를 훈련하는 새로운 방법이 몇 년 전에 시작되었습니다. 이 아이디어는 인간이 일련의 단계를 통해 추론하는 방식에서 영감을 받아 각 단계에 새로운 관련 정보를 추가합니다.

모델이 정책을 순차적으로 학습하여 문제를 해결한다는 점에서 강화학습과 같습니다. 또한 확률적 추론에 해당하는 솔루션을 샘플링할 수 있다는 점에서 생성 모델링과 같습니다.

이미지의 해석을 생각하면 생각이 문장으로 바뀔 수 있지만 문장 자체는 아닙니다. 대신, 문장의 개념에 대한 의미론적 및 관계형 정보를 포함합니다. 일반적으로 우리는 이 의미론적 내용을 그래프로 표현하며, 여기서 각 노드는 개념 또는 변수입니다.

이것이 유일한 해결책은 아니라고 생각하며 다양한 접근 방식을 기대합니다. 다양한 탐구를 통해 현재 AI 분야에서 부족한 것이 무엇인지 찾고, 현재 인간과 인간 수준 AI 사이의 격차를 해소할 수 있는 더 큰 기회를 얻게 될 것입니다.

Yoshua Bengio는 몬트리올 대학교 컴퓨터 과학 교수이자 Mila-Quebec 인공 지능 연구소의 과학 이사입니다. 그는 딥 러닝에 대한 획기적인 공헌으로 Geoffrey Hinton 및 Yann LeCun과 함께 2018 Turing Award를 수상했습니다.

Alon Halevy: 개인 데이터 타임라인

Alon Halevy는 이스라엘계 미국인 컴퓨터 과학자이자 데이터 통합 ​​분야의 전문가입니다. 그는 2005년부터 2015년까지 Google에서 연구 과학자로 근무하면서 Google Data Fusion Tables를 담당했습니다.

ACM 회원이며 2000년 미국 대통령상(PECASE)을 수상했습니다. 그는 또한 기술 회사인 Nimble Technology(현 Actuate Corporation)와 Transformic Inc.의 창립자이기도 합니다.

2023년을 기대하며 Halevy는 개인 데이터 타임라인 구축에 중점을 두고 있습니다.

회사와 조직은 사용자 데이터를 어떻게 사용하나요? 이 중요한 문제는 기술계와 정책계 모두에서 폭넓은 관심을 받았습니다.

2023년에는 더 많은 관심을 기울여야 할 똑같이 중요한 질문이 있습니다. 개인으로서 생성된 데이터를 어떻게 사용하여 건강을 개선하고 활력과 생산성을 높일 수 있습니까?

우리는 매일 온갖 종류의 데이터를 생성합니다. 사진은 우리의 삶의 경험을 포착하고, 휴대폰은 우리의 운동과 위치를 기록하며, 인터넷 서비스는 우리가 소비하고 구매하는 것을 기록합니다.

가지고 싶은 여행, 가보고 싶은 맛집, 즐기고 싶은 책과 영화, 하고 싶은 사교 활동 등 다양한 소망도 기록합니다.

머지않아 스마트 안경은 우리의 다양한 경험을 더욱 자세하게 기록하게 될 것입니다. 그러나 이 데이터는 여러 애플리케이션에 분산되어 있습니다. 과거 경험을 더 잘 요약하려면 매일 다양한 애플리케이션을 통해 과거 추억을 정리해야 합니다.

우리의 목표, 희망, 꿈을 향해 전진할 수 있도록 모든 정보를 개인 타임라인에 통합하는 것은 어떻습니까? 사실 누군가는 오래 전부터 이런 생각을 했었다.

이르면 1945년에 미국 과학자 Vannevar Bush가 Memex라는 제품을 디자인했습니다. 1990년대에 Microsoft Research의 Gordon Bell과 그의 동료들은 개인 생활의 모든 정보를 저장할 수 있는 MyLifeBits를 구축했습니다.

그러나 모든 데이터를 한 곳에 보관할 때 개인 정보를 보호하고 정보 오용을 방지하는 것이 분명히 중요한 문제입니다.

현재 어느 회사도 우리 데이터 전체를 소유할 수 없으며 모든 데이터를 저장할 권한도 없습니다. 따라서 데이터 교환을 위한 프로토콜, 암호화된 저장 및 보안 처리를 포함하여 개인 타임라인을 지원하는 기술을 구축하려면 공동 노력이 필요합니다.

개인 타임라인을 만들려면 해결해야 할 두 가지 기술적 과제가 있습니다.

첫 번째 도전은 시스템에 대한 지능적인 질문과 답변입니다. 텍스트와 다중 모드 데이터를 기반으로 한 질문 답변에서 상당한 진전을 이루었지만, 많은 경우 지능적인 질문 답변을 위해서는 일련의 답변에 대해 명시적으로 추론해야 합니다.

이것이 데이터베이스 시스템의 기초입니다. 예를 들어, "도쿄에서 어느 카페를 방문했습니까?" 또는 "2시간 동안 몇 번의 하프 마라톤을 달렸습니까?"라고 대답하려면 중간 답변으로 컬렉션을 검색해야 합니다. 현재 자연어 처리로는 이 작업을 완료할 수 없습니다.

데이터베이스에서 더 많은 영감을 얻으려면 시스템이 답변의 출처를 설명하고 답변이 정확하고 완전한지 판단할 수 있어야 합니다.

개인 타임라인 구축의 두 번째 과제는 사용자의 삶의 질 향상을 위한 개인 데이터 축 분석 기술을 어떻게 개발할 것인가입니다.

긍정 심리학에 따르면 사람들은 스스로 긍정적인 경험을 만들고 더 나은 발전을 위해 더 나은 습관을 키울 수 있습니다. 우리의 일상 생활과 목표에 접근할 수 있는 AI 에이전트는 우리가 달성해야 할 일과 피해야 할 일을 상기시켜 줄 수 있습니다.

물론 우리가 선택하는 것은 우리에게 달려 있지만, 우리의 일상 활동을 완전히 이해하고 더 나은 기억력과 계획 능력을 가질 수 있는 AI가 모든 사람에게 많은 도움이 될 것이라고 믿습니다.

Douwe Kiela: 과대광고는 줄이고 주의는 더 많이

Douwe Kiela는 스탠포드 대학의 기호 시스템 부교수입니다. 키엘라는 케임브리지 대학교에서 석사와 박사 학위를 마친 후 IBM, 마이크로소프트, 페이스북 AI에서 연구원으로 일했고, 허깅 페이스(Hugging Face)의 연구 책임자로 일했습니다.

신년 전망에서 Kiela는 인공 지능 시스템 개발에 대한 소망을 표현했습니다.

올해는 인공지능이 주류로 자리잡기 시작하는 모습을 볼 수 있습니다. Stable Diffusion 및 ChatGPT와 같은 시스템은 대중의 상상력을 완전히 사로잡았습니다.

지금은 흥미진진한 시기이고 우리는 위대한 일의 직전에 있습니다. 이러한 역량의 변화가 산업 혁명만큼 파괴적이라고 해도 과언이 아닙니다.

그러나 흥분 속에서도 우리는 과대 광고를 경계하고 각별히 주의하며 책임감 있게 연구 개발을 수행해야 합니다.

이러한 시스템이 실제로 대규모 언어 모델에 "합리적"인지 여부에 관계없이 일반인은 가장 본질적으로 인간적인 작업인 언어 생성을 수행할 수 있는 능력 때문에 이를 의인화할 것입니다.

그러나 우리는 이러한 인공 지능 시스템의 기능과 한계에 대해 대중을 교육해야 합니다. 왜냐하면 대중은 대부분 컴퓨터가 여전히 예전의 기호 프로세서라고 믿기 때문입니다. 예를 들어 수학에는 능숙하지만 좋지는 않습니다. 예술계와 현재 상황은 정반대다.

현대 AI에는 심각한 결함이 있으며 시스템은 실수로 또는 의도적으로 쉽게 오용될 수 있습니다. 그들은 잘못된 정보를 생산할 뿐만 아니라 사람들이 자신의 말을 믿을 만큼 자신감이 넘치는 것처럼 보입니다.

이러한 AI 시스템에는 복잡한 다중 모드 인간 세계에 대한 충분한 이해가 부족하고, 철학자가 말하는 "민속 심리학", 즉 타인의 행동과 정신 상태를 설명하고 예측하는 능력이 없습니다.

현재 AI 시스템은 여전히 ​​지속 불가능할 정도로 리소스 집약적인 제품이며, 입력 훈련 데이터와 출력 모델 간의 관계에 대해 아는 바가 거의 없습니다.

동시에 모델 확장을 통해 효율성이 크게 향상될 수 있지만, 예를 들어 특정 기능은 모델이 특정 크기에 도달할 때만 나타납니다. 또한 이 모델이 확장되면 편향될 가능성이 더 높다는 징후도 있습니다. 심지어 더욱 불공평한 시스템이다.

그래서 2023년에는 이러한 문제를 개선할 수 있기를 바랍니다. 다중 양식, 지역화 및 상호 작용에 대한 연구를 통해 시스템은 현실 세계와 인간 행동을 더 잘 이해할 수 있으며, 이를 통해 인간을 더 잘 이해할 수 있습니다.

정렬, 속성 및 불확실성을 연구하면 AI 시스템을 더 안전하게 만들고 환각에 덜 취약하게 만들 수 있으며 더 정확한 보상 모델을 구축할 수 있습니다. 데이터 중심 AI는 데이터를 강력하고 공정한 모델로 보다 효과적으로 변환하는 보다 효율적인 확장 법칙을 보여줄 것을 약속합니다.

논문 링크: https://arxiv.org/pdf/2007.14435.pdf

마지막으로 우리는 현재 진행 중인 인공지능 평가 위기에 더욱 주목해야 합니다. 우리의 진행 상황과 한계를 설명하고 생태학적 타당성(예: AI 시스템의 실제 사용 사례)의 관점에서 우리를 이해할 수 있도록 데이터와 모델에 대한 보다 세부적이고 포괄적인 측정이 필요합니다. 인공지능의 발달.

Been Kim: 과학적 연구를 사용하여 모델 설명

Been Kim은 Google Brain의 과학자이며 MIT를 졸업했습니다. 그의 연구 분야는 대화형 기계 학습입니다.

그녀는 지난 한 해 동안 AI가 보여준 창의성과 많은 성과에 대해 기뻐하면서도 향후 AI 연구에 대한 자신의 견해도 제시했습니다.

제너레이티브 아트와 기타 여러 응용 분야의 놀라운 발전으로 AI에게는 흥미로운 시기입니다.

이러한 방향은 흥미롭지만 흥미롭지만 덜 까다로운 작업이 필요하다고 생각합니다. AI가 얼마나 더 많은 것을 만들 수 있는지, 얼마나 큰 모델을 설계할 수 있는지 뿐만 아니라:

기본으로 돌아가 AI 모델을 과학적 탐구로 연구하는 것이 목표입니다.

왜 이러는 걸까요?

해석 분야의 목표는 복잡한 모델의 출력에 대한 설명을 생성하는 도구를 만들어 AI와 인간 사이의 관계를 탐색하는 데 도움이 됩니다.

예를 들어 하나의 도구는 이미지와 분류 모델을 가져와 가중치 픽셀 형태로 설명을 생성합니다. 픽셀의 가중치가 높을수록 더 중요합니다. 예를 들어, 그 값이 결과에 더 많은 영향을 미칠수록 더 중요해질 수 있지만 중요성이 정의되는 방식은 도구마다 다릅니다.

생성 AI가 어느 정도 성공을 거둔 반면, 많은 도구가 우리가 예상하지 못한 방식으로 작동하는 것으로 입증되었습니다.

예를 들어 훈련되지 않은 모델의 해석은 훈련된 모델의 해석과 양적, 질적으로 구별할 수 없으며 동일한 출력을 생성하더라도 입력의 작은 변화로 해석이 변경되는 경우가 많습니다.

또한 모델의 출력과 도구의 해석 사이에는 인과관계가 별로 없습니다. 다른 연구에서는 모델 출력에 대한 좋은 해석이 사람들이 모델을 사용하는 방식에 반드시 긍정적인 영향을 미치는 것은 아니라는 사실을 보여주었습니다.

기대와 결과의 불일치는 무엇을 의미하며 이에 대해 우리는 어떻게 해야 합니까? 이는 우리가 이러한 도구를 어떻게 구축하는지 검토할 필요가 있음을 시사합니다.

현재 우리는 시행착오라는 엔지니어링 중심 접근 방식을 취하고 있습니다. 우리는 직관을 기반으로 도구를 구축합니다(예: 개별 픽셀 대신 각 픽셀 블록에 대해 가중치를 생성하므로 해석이 더 직관적입니다).

문서 링크: https://arxiv.org/pdf/1811.12231.pdf

튀빙겐 대학의 한 팀은 신경망에서 보이는 텍스처(예: 코끼리)를 발견했습니다. 이미지를 해석할 때 코끼리의 윤곽이 집합적으로 강조 표시된 픽셀의 형태일 수 있음을 보았음에도 불구하고 모양(코끼리의 윤곽선)보다 피부)이 더 중요합니다.

이 연구에 따르면 모델은 모양이 아니라 질감을 볼 수 있으며, 이를 귀납적 편향이라고 합니다. 이는 특정 클래스의 모델이 아키텍처 또는 최적화 방식에서 발생하는 경향입니다.

인간의 경향을 드러내는 것이 인간의 행동(예: 불공평한 결정)을 이해하는 데 사용될 수 있는 것처럼 이러한 경향을 밝히는 것은 모델을 이해하는 데 도움이 될 수 있습니다.

인간을 이해하는 데 일반적으로 사용되는 이 방법은 모델을 이해하는 데에도 도움이 될 수 있습니다. 모델의 경우 내부 구조가 구축되는 방식으로 인해 이론적 분석이라는 또 다른 도구가 있습니다.

이 방향의 작업을 통해 모델, 옵티마이저 및 손실 함수의 동작에 대한 흥미로운 이론적 결과를 얻었습니다. 일부는 통계, 물리학, 동적 시스템 또는 신호 처리의 고전적인 도구를 활용하며, 인공 지능 연구에서는 아직 다양한 분야의 많은 도구가 탐색되지 않았습니다.

과학을 추구한다고 해서 실천을 중단해야 한다는 의미는 아닙니다. 과학을 통해 원칙과 지식을 바탕으로 도구를 만들 수 있고 실천은 아이디어를 현실로 바꿀 수 있습니다.

문서 링크: https://hal.inria.fr/inria-00112631/document

실천은 또한 과학에 영감을 줄 수 있습니다. 실제로 작동하는 것은 과학의 구조가 될 수 있습니다. 2012년 고성능 컨볼루션 네트워크가 컨볼루션이 일반화에 도움이 되는 이유를 분석하는 많은 이론 논문에 영감을 준 것처럼 일반화된 모델 구조에 대한 참조입니다.

Reza Zadeh: ML 모델을 적극적으로 학습시키세요

Reza Zadeh는 컴퓨터 비전 회사인 Matroid의 창립자이자 CEO입니다. 그의 연구 분야는 기계 학습, 분산 컴퓨팅 및 개별 애플리케이션입니다. . 수학과 Databricks의 초기 멤버입니다.

다가오는 2023년은 능동적 학습이 도약하는 해가 될 것이라고 믿습니다.

새해를 맞이하면서 생성 AI의 폭발적인 증가로 능동적 학습이 크게 발전할 것이라는 희망이 있습니다.

이 기술을 사용하면 ML 시스템이 자체 학습 예제를 생성하고 레이블을 지정할 수 있는 반면, 대부분의 다른 형태의 기계 학습에서는 알고리즘에 고정된 예제 세트가 제공되며 일반적으로 이러한 예제에서만 학습할 수 있습니다.

그렇다면 능동적 학습이 머신러닝 시스템에 무엇을 가져올 수 있을까요?

• 변화하는 조건에 적응
• 더 적은 수의 라벨에서 배우기
• 사람들에게 가장 가치 있고 어려운 인스턴스에 대해 알리기
• 더 높은 성능을 달성하세요

능동 학습에 대한 아이디어는 수십 년 동안 존재해 왔지만 실제로는 대중화되지 않았습니다. 이전에는 알고리즘이 인간이 학습 알고리즘을 평가하고 발전시킬 수 있는 이미지나 문장을 생성하는 것이 어려웠습니다.

그러나 이미지와 텍스트 생성 AI의 인기로 인해 능동 학습은 큰 발전을 이룰 것으로 예상됩니다. 이제 학습 알고리즘이 인코딩 공간의 일부에 대한 올바른 레이블을 확신할 수 없는 경우 해당 부분에서 입력용 데이터를 사전에 생성할 수 있습니다.

능동 학습은 시스템이 시간이 지남에 따라 지속적으로 개선되고 적응할 수 있도록 해주기 때문에 기계 학습이 수행되는 방식에 혁명을 일으킬 수 있는 잠재력을 가지고 있습니다.

라벨이 붙은 고정된 데이터 세트에 의존하는 대신 능동적 학습 시스템은 해결하려는 문제를 더 잘 이해하는 데 도움이 되는 새로운 정보와 예를 찾을 수 있습니다.

이를 통해 더 정확하고 효과적인 기계 학습 모델을 만들고 대량의 레이블이 지정된 데이터의 필요성을 줄일 수 있습니다.

제너레이티브 AI의 능동 학습의 최신 발전을 기대하고 있습니다. 새해를 맞이하면서 능동 학습 기술을 구현하는 머신러닝 시스템이 더 많아질 가능성이 높으며, 2023년은 능동 학습이 실제로 도약하는 해가 될 수 있습니다.

위 내용은 2023년이 다가오고 있습니다. Ng Enda, Bengio 및 기타 빅맨들의 연간 전망입니다! 합리적인 AI 모델이 등장하는가?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!