10년 후 딥러닝이 벽에 부딪혔나요? Hinton, LeCun, Li Feifei는 그렇게 생각하지 않습니다.

2012년 AlexNet으로 대표되는 딥러닝 기술의 돌파구가 시작된 지 벌써 10년이 되었습니다.

10년 후, 현재 Turing Award 수상자인 Geoffrey Hinton과 Yann LeCun, 그리고 ImageNet Challenge의 주요 발기인이자 프로모터인 Li Feifei, 지난 10년간의 AI 기술 혁신을 어떻게 보시나요? 향후 10년간의 기술 발전에 대해 어떻게 판단하시나요?

최근 해외 매체 VentureBeat의 독점 인터뷰 기사를 통해 AI 커뮤니티에서는 이러한 문제에 대한 논의가 시작되었습니다.

LeCun의 관점에서 지난 10년 동안 가장 중요한 성과로는 자기 지도 학습, ResNet, 게이트-어텐션-동적 연결 그래프, 미분 가능 저장 및 교체 등변 모듈(예: 다중 헤드 Self-Attention-)이 있습니다. 변압기.

Hinton은 AI 분야의 급속한 발전 모멘텀이 계속 가속화될 것이라고 믿습니다. 앞서 그를 비롯한 AI 분야 유명 인사들은 “딥러닝이 벽에 부딪혔다”는 견해를 반박한 바 있다. Geoffrey Hinton은 "우리는 인간보다 더 효율적이고 부드럽게 일을 수행하는 유연하고 민첩하며 더 순응적인 로봇을 통해 로봇 공학의 엄청난 발전을 목격하고 있습니다."라고 말했습니다. 이미지 출처: https://www.thestar.com/

LeCun과 Li Feifei는 2012년 ImageNet 데이터 세트를 기반으로 한 일련의 획기적인 연구가 컴퓨터 비전, 특히 딥 러닝 분야에서 큰 진전을 이루었다는 Hinton의 의견에 동의합니다. . 딥러닝을 주류로 밀어넣고 멈출 수 없는 추진력을 촉발합니다. Li Feifei는 2012년 이후의 딥 러닝 변화는 꿈을 초월했다고 말했습니다.

Li Feifei

그러나 성공은 종종 비판으로 이어집니다. 최근에는 딥러닝의 성공 여부가 작은 범위에 국한되어 있다는 점에서 한계를 지적하는 의견이 많습니다. 이러한 견해는 딥 러닝이 궁극적으로 인간이 원하는 일반 인공 지능(AI의 추론 능력이 진정으로 인간과 유사함)을 달성하는 데 도움이 된다고 주장하는 근본적인 돌파구를 달성할 수 없다고 주장합니다.

유명한 AI 학자이자 Robust.AI의 창립자인 Gary Marcus는 올해 3월 "Deep Learning Hits a Wall"이라는 기사를 발표했습니다. 그는 순수한 엔드투엔드 딥러닝이 거의 정점에 이르렀다고 믿습니다. 끝나고 AI 분야 전체가 새로운 탈출구를 찾아야 합니다. 나중에 Hinton과 LeCun은 모두 그의 견해를 반박했고 이는 서클에서 열띤 토론을 촉발했습니다.

비판의 목소리가 계속되고 있지만 컴퓨터 비전이나 언어와 같은 중요한 응용 프로그램이 큰 발전을 이뤘다는 점은 부정할 수 없습니다. 또한 수천 개의 기업이 딥 러닝의 힘을 확인하고 추천 엔진, 번역 소프트웨어, 챗봇 등에서 놀라운 결과를 얻었습니다.

2022년입니다. AI 호황의 지난 10년을 되돌아볼 때, 딥러닝의 발전에서 우리는 무엇을 배울 수 있을까요? 세상을 바꾸는 이 혁신적인 기술은 앞으로 더 좋아질 것인가, 아니면 내리막길을 걸을 것인가? Hinton, LeCun, Li Feifei 등이 이에 대해 의견을 표명했습니다.

2012년, 딥러닝 혁명이 시작되었습니다

힌튼은 항상 딥러닝 혁명의 도래를 믿어왔습니다. 1986년 Hinton et al.의 논문 "역전파 오류에 의한 표현 학습"은 다층 신경망 훈련을 위한 역전파 알고리즘을 제안했으며, 그는 이것이 인공 지능의 미래라고 굳게 믿었습니다. 나중에 1989년에 역전파와 컨볼루션 신경망의 사용을 개척한 LeCun도 이에 동의했습니다.

Hinton과 LeCun 등은 다층 신경망과 같은 딥 러닝 아키텍처가 컴퓨터 비전, 음성 인식, 자연어 처리, 기계 번역 등의 영역에 적용되어 인간과 비슷하거나 심지어 능가하는 결과를 생성할 수 있다고 믿습니다. 전문가. 동시에 Li Feifei는 알고리즘이 정확하다면 ImageNet 데이터 세트가 컴퓨터 비전 및 딥 러닝 연구 발전의 열쇠가 될 것이라는 확고한 가설을 제시했습니다.

2012년 Alex Krizhevsky, Ilya Sutskever 및 Hinton의 "ImageNet Classification with Deep Convolutional Neural Networks"라는 논문이 나왔고 ImageNet 데이터 세트를 사용하여 오늘날 모든 사람에게 매우 친숙한 AlexNet 신경망 아키텍처를 만들었고 우승을 차지했습니다. 그해 ImageNet 대회 우승자. 당시의 이 획기적인 아키텍처는 이전 방법보다 다양한 이미지를 분류하는 데 훨씬 더 정확했습니다.

논문 주소: https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

이 연구는 ImageNet 데이터 세트의 지원과 더욱 강력해진 지원으로 직접적으로 기여했다고 할 수 있습니다. GPU 하드웨어 Google Photos, Google Translate, Amazon Alexa, OpenAI DALL-E, DeepMind AlphaFold 등 향후 10년의 주요 AI 성공 사례

2012년 AlexNet이 출시되자 다른 사람들과 기관들도 딥러닝 연구 분야로 눈을 돌리기 시작했습니다. 구글

한편, Jeffrey Dean과 Andrew Ng도 대규모 이미지 인식 분야에서 획기적인 작업을 수행하고 있습니다. Dan Ciregan 등의 CVPR 2012 중간 제출 논문은 여러 이미지 데이터 세트에서 컨볼루션 신경망의 최첨단 성능을 크게 향상시켰습니다.

논문 주소: https://arxiv.org/pdf/1202.2745.pdf

대체로 2013년까지 "거의 모든 컴퓨터 비전 연구가 신경망으로 전환되었습니다"라고 Hinton은 말했습니다. 그 이후로 저는 Google Research와 토론토 대학교를 오가며 시간을 보냈습니다. 그는 최근인 2007년부터 인공지능에 거의 혁명이 일어났는데, 당시에는 “한 컨퍼런스에서 딥러닝에 관한 두 편의 논문을 발표하는 것조차 적절하지 않았을 것”이라고 덧붙였다.

딥 러닝의 10년 발전

Li Feifei는 2012년 이탈리아 피렌체 컨퍼런스에서 ImageNet 대회 우승자를 직접 발표하면서 딥 러닝의 혁신에 깊이 관여했으며 사람들은 딥 러닝의 중요성을 인식했다고 말했습니다. 그 순간.

"ImageNet은 거의 지원 없이 2006년에 시작된 비전이었습니다."라고 Li Feifei는 덧붙였습니다. 나중에 "실제로 매우 역사적이고 중요한 방식으로 성과를 거두었습니다."라고 덧붙였습니다.

그 이후로 딥 러닝은 놀라운 속도와 인상적인 깊이로 발전했습니다.

LeCun은 자연어 이해, 텍스트 생성 번역 및 이미지 합성의 발전을 언급하며 "놀라운 속도로 해결되고 있는 몇 가지 장벽이 있습니다"라고 말했습니다.

일부 영역의 진행은 예상보다 훨씬 빠릅니다. Hinton의 경우 이러한 진전에는 기계 번역에 신경망을 사용하는 것이 포함되며, 이는 2014년에 큰 진전을 이뤘습니다. "나는 수년이 걸릴 것이라고 생각했다"고 그는 말했다.

Li Feifei도 DALL-E와 같은 컴퓨터 비전의 발전이 "생각보다 빠르다"고 인정했습니다.

딥 러닝 비평가 거부

그러나 모두가 딥 러닝에 동의하는 것은 아닙니다. 적하. 2012년 11월 Gary Marcus는 The New Yorker에 다음과 같은 기사를 썼습니다. "오래된 우화를 바꿔 말하면 Hinton은 더 나은 사다리를 만들지만 더 나은 사다리가 반드시 당신을 달까지 데려다주는 것은 아닙니다."

Marcus 는 딥러닝이 10년 전보다 '달'에 더 가깝지 않다고 믿습니다. 여기서 달은 일반 인공지능이나 인간 수준의 인공지능을 지칭합니다.

“물론 진전이 있지만 달에 가기 위해서는 인과적 이해와 자연어 이해와 추론을 풀어야 한다”고 말했다.

Marcus는 신경망과 상징적 AI(딥 러닝이 등장하기 전에 해당 분야를 지배했던 AI 분야)를 결합한 하이브리드 모델이 기술의 한계에 맞서는 길이라고 믿습니다. 신경망. 그러나 Hinton과 LeCun은 모두 Marcus의 비판을 일축했습니다.

“딥 러닝은 벽에 부딪히지 않았습니다. 최근의 진전을 보면 정말 놀랍습니다.”라고 Hinton은 말했습니다. 하지만 그는 딥 러닝이 해결할 수 있는 문제의 범위가 제한적이라는 점을 인정했습니다.

르쿤은 "넘어갈 벽이 없다"고 덧붙였다. 그는 "해결해야 할 몇 가지 장애물이 있다고 생각하며, 이러한 장애물에 대한 해결책은 완전히 명확하지 않습니다"라고 말했습니다. "하지만 진행 속도가 전혀 느려지지는 않습니다. 진행 속도가 빨라지고 있습니다.

그러나 Bender는 확신하지 않습니다." "이미지넷 같은 벤치마크에서 제공하는 라벨을 기반으로 이미지를 분류하는 기술의 발전 정도만 이야기한다면 2012년에 획기적인 발전이 있었던 것으로 보입니다. 하지만 그보다 더 큰 것을 이야기한다면 그건 사실이 아닙니다. .과대 광고입니다.”

AI 편견과 윤리 문제가 다가오고 있습니다

다른 측면에서도 벤더는 인공 지능과 딥 러닝 분야가 너무 멀리 나아갔다고 믿습니다.

“매우 큰 데이터 세트를 합성 텍스트와 이미지를 생성할 수 있는 시스템으로 처리하는 능력(컴퓨팅 성능 + 효율적인 알고리즘)이 여러 면에서 우리를 탈선시켰다고 생각합니다.”라고 그녀는 말했습니다. 예를 들어, 사람들은 사이클에 갇힌 것 같습니다. 모델이 편향되어 있음을 발견하고 편향을 제거하려고 시도하지만 수용된 결과는 완전히 편향되지 않은 데이터 세트나 모델이 없다는 것입니다.

게다가 그녀는 실제 테스트든 제품 안전이든 관계없이 현장에서 책임의 실제 표준이 유지되는 것을 보고 싶다고 말했습니다. “이를 위해서는 AI 과대 광고를 이해하고 간파하는 방법을 일반 대중이 필요로 합니다.

그러나 LeCun은 이것이 사람들이 단순화하는 경향이 있는 복잡하고 중요한 문제이며 많은 사람들이 "악의적인 가정을 가지고 있다"고 지적했습니다. 그는 대부분의 기업이 "실제로 올바른 일을 하고 싶어한다"고 주장합니다.

이밖에도 인공지능 기술과 연구에 참여하지 않는 이들에 대해서도 불만을 토로했다. "전체 생태계인데 일부 사람들은 기본적으로 관심을 끌기 위해 스탠드에서 촬영하고 있습니다"라고 그는 말했습니다. 그러나 Li Feifei는 이것이 모두 과학의 일부라고 강조했습니다. "과학은 진실이 아닙니다. 과학은 진실을 추구하는 여정입니다. 이는 발견과 개선의 여정입니다. 따라서 논쟁, 비판, 축하가 모두 그것의 일부입니다."

그러나 일부 논쟁과 비판은 Li Feifei를 " 좀 인위적이다" AI가 틀렸다거나 AGI가 온다는 말은 극단적인 경우다. "저는 이것이 더 깊고, 더 미묘하고, 더 다차원적인 과학 토론의 상대적으로 인기 있는 버전이라고 생각합니다."

물론 Li Feifei는 지난 10년 동안 인공 지능의 발전이 실망스러웠습니다. 그리고 항상 기술에 관한 것만은 아닙니다.

인공 지능과 딥 러닝의 미래

LeCun은 자율 주행과 같이 사람들이 상당한 자원을 투자해 온 일부 AI 문제가 아직 해결되지 않았음을 인정했습니다. 그는 “다른 사람들이 그것의 복잡성을 과소평가한다고 말하고 싶다”고 말하면서 자신은 그런 범주에 속하지 않는다고 덧붙였다.

"힘들고 시간도 오래 걸릴 거라는 걸 알아요"라고 그는 주장했습니다. "나는 우리가 기본적으로 그것을 알아냈다고 말하는 일부 사람들의 의견에 동의하지 않습니다. 단지 이러한 모델을 더 크게 만드는 것이 문제일 뿐입니다."

사실 LeCun은 최근 "자율 기계 지능" 생성에 대한 가이드를 발표했습니다. 또한 현재의 인공지능 방식으로는 인간 수준의 인공지능을 달성할 수 없다고 믿고 있음을 보여준다.

그러나 그는 기계가 더욱 효율적으로 동물과 인간처럼 학습하도록 만드는 것이 가장 기대된다고 말하면서 미래 딥 러닝의 엄청난 잠재력도 보고 있습니다.

르쿤은 그에게 가장 큰 질문은 동물 학습의 기본 원리가 무엇인지라고 말했는데, 이것이 그가 자기 지도 학습과 같은 것을 옹호해 온 이유 중 하나입니다.

"이러한 발전을 통해 우리는 마치 인간 조수처럼 일상 생활에 힘을 실어줄 수 있는 지능형 시스템과 같이 현재는 손이 닿지 않는 것들을 구축할 수 있게 될 것입니다. 이것은 우리에게 필요할 것입니다. 모두가 AR 안경을 착용할 것이기 때문입니다.

Hinton은 딥 러닝에서 더 많은 발전이 이루어지고 있다는 데 동의합니다. 그는 로봇 공학의 발전 외에도 신경망 컴퓨팅 인프라에도 또 다른 돌파구가 있을 것이라고 믿습니다. 현재 시설에서는 행렬 곱셈에 매우 능숙한 가속기를 사용하여 수치 계산만 수행하기 때문입니다. 역전파를 위해서는 아날로그 신호를 디지털 신호로 변환해야 한다고 그는 말했습니다.

“우리는 아날로그 하드웨어에서 작동하는 역전파에 대한 대안을 찾을 것입니다.”라고 그는 말했습니다. "장기적으로는 거의 모든 계산이 시뮬레이션에서 이루어질 것이라고 굳게 믿습니다."

Li Feifei는 딥 러닝의 미래에 가장 중요한 것은 의사소통과 교육이라고 믿습니다. “Stanford HAI에서는 실제로 비즈니스 리더, 정부, 정책 입안자, 미디어, 기자, 언론인 및 사회 전반에 접근하고 심포지엄, 컨퍼런스, 워크샵, 정책 브리핑 출판, 업계 브리핑을 만드는 데 불균형적인 양의 에너지를 소비합니다.

이러한 신기술을 사용하는 경우 Li Feifei는 배경 지식의 부족으로 인해 이 시대에 대한 더 미묘하고 사려 깊은 설명을 전달하는 데 도움이 되지 않는다고 우려합니다.

딥러닝 10년은 어떻게 기억될 것인가

힌튼에게 있어서 딥러닝은 지난 10년 동안 상상할 수 없는 성공을 거두었지만, 이 엄청난 발전은 '컴퓨터 과학' 하드웨어 발전' 덕분이라고 강조하기도 했습니다.

마커스는 딥러닝이 어느 정도 진전을 이루긴 했지만 나중에는 불행하게 보일 수도 있다고 믿는 비평가 캐릭터입니다.

"내 생각에 2050년의 사람들은 2022년에 이러한 시스템을 보고 이렇게 말할 것입니다. 그래, 그들은 용감하지만 실제로는 작동하지 않습니다."

하지만 Li Feifei는 지난 10년이 " 위대한 디지털 혁명의 시작": "인류 중 소수 또는 일부가 아닌 모든 사람의 삶과 일을 더 좋게 만듭니다."

그녀는 또한 과학자로서 다음과 같이 덧붙였습니다. "오늘날의 딥 러닝이

사회적 차원에서 그녀는 인공지능을 "가장 인간 중심적인 방식으로 개발되고 개발되는 놀라운 기술 도구로 보기를 희망한다"고 말했습니다. 이 도구의 광범위한 영향을 미치고 인공 지능을 설계하고 배포할 때 인간 중심의 사고 프레임워크를 수용합니다."

마지막으로 Li Feifei는 다음과 같이 말했습니다. "우리가 기억되는 방식은 우리가 지금 무엇을 하고 있는지에 달려 있습니다."

위 내용은 10년 후 딥러닝이 벽에 부딪혔나요? Hinton, LeCun, Li Feifei는 그렇게 생각하지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!