우주의 힘을 활용하여 데이터를 처리하세요! '물리적 네트워크”는 심층 신경 네트워크보다 훨씬 뛰어납니다.

이 기사는 Lei Feng.com에서 복제되었습니다. 재인쇄가 필요한 경우 Lei Feng.com 공식 웹사이트로 이동하여 승인을 신청하세요.

방음 상자 안에는 세계 최악의 신경망 중 하나가 들어있습니다. 숫자 6의 이미지를 본 후 신경망은 잠시 멈췄다가 인식한 숫자인 0을 표시합니다.

이 신경망 개발을 주도한 코넬 대학의 물리학자이자 엔지니어인 피터 맥맨(Peter McMahon)은 손으로 쓴 숫자가 너무 엉성해 보이기 때문이라고 의아한 미소를 지었습니다. NTT 연구소의 McMahon 연구실을 방문한 Postdoc인 Logan Wright는 실수가 흔하다는 점을 인정하면서도 이 장치는 일반적으로 올바른 답을 제공한다고 말했습니다. 평범한 성능에도 불구하고 이 신경망은 획기적인 연구였습니다. 연구자들은 상자를 뒤집어 컴퓨터 칩이 아닌 스피커에 부착된 티타늄 판 쪽으로 기울어진 마이크를 발견했습니다.

0과 1의 디지털 세계에서 실행되는 신경망과 달리 이 장치는 소리의 원리에 따라 실행됩니다. Wright에게 숫자 이미지가 주어지면 이미지의 픽셀이 오디오로 변환되고 스피커가 티타늄 판을 진동시켜 실험실을 희미한 지저귀는 소리로 채웠습니다. 즉, "읽기" 작업을 수행하는 것은 실리콘 칩에서 실행되는 소프트웨어가 아닌 금속 에코입니다.

이 장치의 성공은 디자이너들에게도 놀라운 것입니다. McMahon은 "진동하는 금속의 역할이 무엇이든 손으로 쓴 숫자를 분류하는 것과는 아무런 관련이 없어야 합니다."라고 McMahon은 말했습니다. 올해 1월 코넬 대학 연구팀은 Nature 저널에 "Deep"이라는 제목의 논문을 발표했습니다. 역전파로 훈련된 물리적 신경망".

장치의 원시 읽기 기능에 대한 논문 소개는 McMahon과 다른 사람들에게 많은 개선을 통해 장치가 컴퓨팅에 혁명을 일으킬 수 있다는 희망을 줍니다.

논문 링크: https://www.nature.com/articles/s41586-021-04223-6전통적인 기계 학습의 경우, 컴퓨터 과학자들은 신경의 크기가 클수록 네트워크, 더 나은. 구체적인 이유는 아래 그림의 기사에서 찾을 수 있습니다. "컴퓨터 과학자들이 더 큰 신경망이 더 나은 이유를 증명함"이라는 기사는 다음과 같이 증명합니다. 네트워크가 안정적이기를 원한다면 훈련 데이터를 염두에 두는 것이 과잉 매개변수화에 국한되지 않습니다. 유효하지만 이를 시행하려면 필요합니다. ㅋㅋㅋ 더 많은 인공 뉴런(값을 저장하는 노드)은 닥스훈트와 달마시안의 차이를 구별하는 능력을 향상시킬 뿐만 아니라 수많은 다른 패턴 인식 작업을 성공적으로 완료할 수 있게 해줍니다.

정말로 거대한 신경망은 작문 논문(예: OpenAI의 GPT-3), 그림 그리기(예: OpenAI의 DALL·E, DALL·E2 및 Google의 Imagen) 등 생각하기 힘든 어려운 작업을 완료할 수 있습니다. . 컴퓨팅 성능이 향상되면 더 큰 성과가 가능해집니다. 이러한 가능성은 보다 강력하고 효율적인 컴퓨팅 방법을 개발하려는 노력을 장려합니다. McMahon과 같은 생각을 가진 물리학자들 그룹은 색다른 접근 방식을 채택합니다. 즉, 우주가 우리를 위해 데이터를 처리하도록 놔두는 것입니다.

McMahon은 다음과 같이 말했습니다. "많은 물리적 시스템은 자연적으로 컴퓨터보다 더 효율적이거나 더 빠르게 특정 계산을 수행할 수 있습니다." 그는 풍동을 예로 사용했습니다. 엔지니어는 비행기를 설계할 때 청사진을 디지털화한 다음 비행기에 소요되는 시간을 소비할 수 있습니다. 비행기 날개 주위의 공기 흐름을 시뮬레이션하는 슈퍼컴퓨터. 또는 항공기를 풍동에 넣어 비행할 수 있는지 확인할 수도 있습니다. 계산적 관점에서 풍동은 항공기 날개와 공기의 상호 작용을 즉시 "계산"할 수 있습니다.

캡션: 코넬대학교 팀원인 Peter McMahon과 Tatsuhiro Onodera는 학습 작업을 완료하기 위해 다양한 물리적 시스템을 위한 프로그램을 작성하고 있습니다.

사진 출처: Dave Burbank풍동은 공기 역학을 시뮬레이션할 수 있으며 특정 기능을 가진 기계입니다.

McMahon과 같은 연구자들은 무엇이든 배울 수 있는 장치, 즉 손으로 쓴 숫자를 분류하거나 하나의 모음과 다른 모음을 구별하는 것과 같은 새로운 능력을 얻기 위해 시행착오를 통해 동작을 조정할 수 있는 시스템을 연구하고 있습니다. 그리고 다른 능력.

최신 연구에 따르면 광파, 초전도체 네트워크, 전자 분기 흐름과 같은 물리적 시스템을 모두 학습할 수 있습니다. "우리는 단지 하드웨어를 재창조하는 것이 아니라 전체 컴퓨팅 패러다임을 재창조하고 있습니다."라고 스위스 ETH Zurich의 수학자이자 새로운 물리 학습 알고리즘 설계에 도움을 준 Benjamin Scellier는 말합니다.

1 생각하는 법을 배우세요

학습은 매우 독특한 과정입니다. 10년 전에는 뇌가 학습할 수 있는 유일한 시스템이었습니다. 컴퓨터 과학자들이 현재 가장 인기 있는 인공 학습 모델인 심층 신경망을 설계하도록 부분적으로 영감을 준 것은 바로 뇌의 구조입니다. 심층 신경망은 연습을 통해 학습하는 컴퓨터 프로그램입니다.

심층 신경망은 그리드로 생각할 수 있습니다. 값을 저장하는 데 사용되는 노드의 레이어를 뉴런이라고 하며, 뉴런은 "시냅스"라고도 하는 선을 통해 인접한 레이어의 뉴런과 연결됩니다. 처음에 이러한 시냅스는 "가중치"라고 불리는 임의의 숫자일 뿐입니다. 네트워크가 4를 읽도록 하려면 뉴런의 첫 번째 레이어가 4의 원본 이미지를 나타내도록 하고 각 픽셀의 그림자를 해당 뉴런의 값으로 저장할 수 있습니다.

그런 다음 네트워크는 "생각"하여 레이어별로 이동하여 뉴런 값에 시냅스 가중치를 곱한 뉴런의 다음 레이어를 채웁니다. 마지막 레이어에서 가장 큰 값을 갖는 뉴런이 신경망의 답입니다. 예를 들어, 이것이 두 번째 뉴런인 경우 네트워크는 2를 본 것으로 추측합니다. 더 똑똑한 추측을 하도록 네트워크를 가르치기 위해 학습 알고리즘은 반대로 작동합니다. 시도할 때마다 추측과 정답 간의 차이를 계산합니다(이 경우 이 차이는 마지막 레이어의 네 번째 뉴런에서 높은 값으로 표시되고 다른 곳에서는 낮은 값으로 표시됩니다).

그런 다음 알고리즘은 네트워크를 통해 계층별로 다시 작동하여 필요에 따라 최종 뉴런의 값이 올라가거나 떨어지도록 가중치를 조정하는 방법을 계산합니다. 이 프로세스를 역전파라고 하며 딥러닝의 핵심입니다. 반복적으로 추측하고 조정함으로써 역전파는 하나의 이미지에서 시작되는 일련의 곱셈을 통해 출력될 숫자 집합에 가중치를 지정합니다.

출처: Quanta Magazine Merrill Sherman하지만 뇌의 사고에 비하면 인공신경망에서의 디지털 학습은 매우 비효율적인 것 같습니다. 하루에 2,000칼로리 미만의 칼로리만 섭취하면 인간 어린이는 단 몇 년 만에 말하기, 읽기, 게임하기 등을 배울 수 있습니다. 이러한 제한된 에너지 조건에서 유창한 대화가 가능한 GPT-3 신경망은 채팅을 배우는 데 천년이 걸릴 수 있습니다.

물리학자의 관점에서 볼 때 대규모 디지털 신경망은 수학을 너무 많이 하려고 합니다. 오늘날 최대 규모의 신경망은 5,000억 개가 넘는 숫자를 기록하고 조작해야 합니다. 이 엄청난 수치는 아래 그림의 "경로 언어 모델(PaLM): 획기적인 성능을 위한 5400억 매개변수로 확장)" 논문에서 나온 것입니다.

문서 링크: https://ai.googleblog.com/2022 /04/pathways-언어-model-palm-scaling-to.html동시에 우주에 항상 존재하는 작업은 컴퓨터의 빈약한 컴퓨팅 성능의 한계를 훨씬 뛰어넘습니다. 방 안에는 수조 개의 공기 분자가 맴돌고 있을 수 있습니다.

본격적인 충돌 시뮬레이션의 경우 이는 컴퓨터가 추적할 수 없는 움직이는 물체의 수이지만 공기 자체는 매 순간 자체 동작을 쉽게 결정합니다. 현재 우리의 챌린지는 인공 지능에 필요한 두 가지 프로세스, 즉 이미지를 분류하는 데 필요한 '사고'와 이러한 이미지를 올바르게 분류하는 데 필요한 '사고'를 자연스럽게 완료할 수 있는 물리적 시스템을 구축하는 것입니다.

이 두 가지 작업을 마스터하는 시스템은 단순히 수학적 계산을 수행하는 것이 아니라 실제로 우주의 수학적 힘을 활용하는 것입니다. Scellier는 "우리는 3.532 곱하기 1.567 같은 것을 계산한 적이 없습니다."라고 말했습니다. "시스템은 암묵적으로 물리학 법칙을 따릅니다." 생각 부분

McMahon과 동료 학자들은 퍼즐의 "생각" 부분에서 진전을 이루었습니다. 코로나19 팬데믹이 발생하기 몇 달 전, McMahon은 코넬 대학에 연구실을 차리고 이상한 발견에 대해 고민하고 있었습니다. 수년에 걸쳐 이미지 인식을 위한 최고 성능의 신경망은 점점 더 깊어졌습니다. 즉, 더 많은 레이어가 있는 네트워크는 많은 픽셀을 가져와 "푸들"과 같은 레이블을 지정하는 데 더 좋습니다.

이 추세는 수학자들이 신경망(픽셀에서 "푸들"로)으로 구현되는 변환을 연구하도록 영감을 주었습니다. 2017년에 여러 그룹에서 "잔여 신경망을 위한 가역적 아키텍처"라는 논문을 발표했습니다. 신경망의 동작은 매끄러운 수학 함수의 대략적인 버전입니다.

문서 주소: https://arxiv.org/abs/1709.03698

수학에서 함수는 입력(보통 x 값)을 출력(y 값)으로 변환합니다. 이 위치 또는 높은 곳에서 곡선을 그리세요). 특정 유형의 신경망에서는 함수가 덜 들쭉날쭉하고 이상적인 곡선에 더 가깝기 때문에 더 많은 레이어가 더 잘 작동합니다. 이 연구를 통해 McMahon은 생각하게 되었습니다. 아마도 원활하게 변화하는 물리적 시스템을 통해 디지털 방식에 내재된 차단을 피할 수 있습니다. 비결은 복잡한 시스템을 길들이는 방법, 즉 훈련을 통해 시스템의 동작을 조정하는 방법을 찾는 것입니다. McMahon과 그의 공동 작업자는 다양한 진동 모드가 들어오는 사운드를 복잡한 방식으로 혼합하기 때문에 이러한 시스템에 티타늄 플레이트를 선택했습니다.

슬래브가 신경망처럼 작동하도록 하기 위해 입력 이미지(예: 손으로 쓴 6)를 인코딩하는 사운드와 시냅스 가중치를 나타내는 다른 사운드를 입력했습니다. 장치가 소리를 결합하고 응답을 제공하려면 소리의 최고점과 최저점이 적절한 시간에 티타늄 판에 부딪혀야 합니다. 예를 들어 6밀리초 내에 가장 큰 새로운 소리는 "6"으로 분류됩니다.

캡션: 코넬 대학 연구팀은 손으로 쓴 숫자를 "읽기" 위해 세 가지 물리적 시스템(왼쪽에서 오른쪽으로 진동하는 티타늄 판, 수정, 전자 회로)을 훈련시켰습니다. 출처: 왼쪽 사진과 가운데 사진은 코넬 대학의 Rob Kurcoba가 찍은 사진이고, 오른쪽 사진은 Quanta Magazine의 Charlie Wood가 찍은 사진입니다. 팀은 또한 입력 이미지와 가중치가 크리스털에 의해 함께 혼합된 두 개의 빔으로 인코딩되는 광학 시스템과 입력을 유사하게 변환할 수 있는 전자 회로에서 계획을 구현했습니다.

원칙적으로 비잔틴 동작을 수행하는 모든 시스템이 이를 수행할 수 있지만 연구원들은 광학 시스템이 특별한 가능성을 갖고 있다고 믿습니다. 크리스탈은 빛을 매우 빠르게 혼합할 뿐만 아니라 빛에는 세상에 대한 풍부한 데이터도 포함되어 있습니다. McMahon은 자신의 광학 신경망의 소형 버전이 언젠가는 자율주행 자동차의 눈 역할을 하여 정지 신호와 보행자를 인식한 다음 그 정보를 자동차의 컴퓨터 칩에 공급할 수 있을 것이라고 상상합니다. 들어오는 빛도 동일하게 취급됩니다.

그러나 이러한 시스템의 아킬레스건은 이를 훈련하려면 디지털 세계로의 복귀가 필요하다는 것입니다. 역전파는 신경망을 역으로 실행하는 것과 관련이 있지만 필름과 결정체는 소리와 빛을 쉽게 분해할 수 없습니다. 그래서 팀은 각 물리적 시스템의 디지털 모델을 구축했습니다. 노트북에서 이러한 모델을 반전시키면 역전파 알고리즘을 사용하여 가중치를 조정하여 정확한 답을 제공하는 방법을 계산할 수 있습니다.

이번 훈련을 통해 이 티타늄판은 87%의 정확도로 손으로 쓴 숫자를 분류하는 방법을 배웠습니다. 위 사진의 회로와 레이저의 정확도는 각각 93%와 97%에 이릅니다. 프랑스 국립과학연구센터(CNRS)의 물리학자인 줄리 그롤리에는 "표준 신경망만이 역전파로 훈련될 수 있는 것은 아니다"라고 이번 연구 결과는 밝혔다. 이 장치는 디지털 신경망의 속도에도 미치지 못합니다. 그러나 McMahon은 자신의 장치가 사람들이 자신의 두뇌나 컴퓨터 칩 이상의 것을 생각할 수 있다는 것을 증명했기 때문에 놀랍다고 생각합니다. “모든 물리적 시스템은 신경망이 될 수 있습니다.”

그는 말했습니다.

3 학습 부분

또 다른 어려운 문제는 시스템이 완전히 자율적으로 학습하도록 만드는 방법입니다. 독일 Max Planck Institute for Light Science의 물리학자인 Florian Marquardt는 한 가지 방법은 뒤로 돌아가는 기계를 만드는 것이라고 생각합니다. 작년에 그와 공동 작업자는 "해밀턴 에코 역전파에 기반한 자가 학습 기계" 물리 시뮬레이션 논문에서 이러한 시스템에서 실행될 수 있는 역전파 알고리즘을 제안했습니다.

문서 주소: https://arxiv.org/abs/2103.04992

이것이 가능하다는 것을 증명하기 위해 그들은 디지털 기술을 사용하여 McMahon 장치와 유사한 레이저 장치를 시뮬레이션했습니다. 톤의 가중치는 하나의 광파에 인코딩되고 다른 입력 파동(이미지와 같은 인코딩)과 혼합됩니다. 출력을 정답에 더 가깝게 만들고 광학 구성 요소를 사용하여 파동을 깨뜨리고 프로세스를 반대로 합니다. "놀라운 점은 동일한 입력으로 장치를 다시 시도할 때 출력이 원하는 위치에 더 가까워지는 경향이 있다는 것입니다."라고 Marquardt는 말했습니다. 그런 시스템. 그러나 역방향 제한 옵션으로 실행되는 시스템에 초점을 맞추기 때문에 다른 연구자들은 역전파를 완전히 뒤로 미루었습니다.

뇌가 학습하는 방식이 표준 역전파가 아니라는 것을 알았기 때문에 그들의 연구는 히트하지 않고 더 발전했습니다. Scellier는 "뇌는 역전파되지 않습니다." 뉴런 A가 뉴런 B와 통신할 때 "전파는 단방향입니다."라고 말했습니다.

캡션: CNRS 물리학자 Julie Grollier는 역전파에 대한 유망한 대안으로 여겨지는 물리 학습 알고리즘을 구현했습니다.

이미지 출처: Christophe Caudroy2017년 Scellier와 몬트리올 대학의 컴퓨터 과학자인 Yoshua Bengio는 균형 전파라는 단방향 학습 방법을 개발했습니다.

우리는 이것이 어떻게 작동하는지 이해할 수 있습니다. 뉴런과 같은 화살표 네트워크, 방향이 0 또는 1을 나타내고 시냅스 가중치 역할을 하는 스프링으로 그리드에 연결된 것을 상상해 보세요. 스프링이 느슨할수록 연결 화살표가 정렬되기가 더 어려워집니다. 먼저 가장 왼쪽 화살표 행을 회전하여 손으로 쓴 숫자의 픽셀을 반영한 다음 가장 왼쪽 화살표 행을 변경하지 않은 채로 다른 화살표를 회전하고 이 교란이 스프링을 통해 퍼지도록 합니다.

뒤집기가 멈추면 가장 오른쪽 화살표가 답을 줍니다. 요점은 이 시스템을 훈련시키기 위해 화살표를 뒤집을 필요가 없다는 것입니다. 대신, 정답을 표시하는 네트워크 하단의 또 다른 화살표 세트를 연결할 수 있습니다. 이러한 올바른 화살표는 위쪽 화살표 세트를 뒤집어 전체 그리드가 새로운 평형 상태로 들어가게 합니다.

마지막으로 화살표의 새 방향을 이전 방향과 비교하고 그에 따라 각 스프링을 조이거나 풀어줍니다. 많은 실험 후에 스프링은 더 스마트한 장력을 얻었으며 Scellier와 Bengio는 이것이 역전파와 동일하다는 것을 보여주었습니다. Grollier는 "사람들은 물리적 신경망과 역전파 사이에 연관성이 없을 수 있다고 생각했습니다. 최근에 상황이 바뀌었는데 이는 매우 흥미롭습니다."라고 말했습니다.

균형 전파에 대한 원래 작업은 모두 이론적이었습니다. 그러나 곧 나올 기사에서 Grollier와 CNRS 물리학자 Jérémie Laydevant는 D-Wave가 제작한 양자 어닐링 기계에서 알고리즘을 실행하는 방법을 설명합니다. 이 장치에는 스프링으로 연결된 화살표처럼 작동하여 "스프링"이 어떻게 업데이트되어야 하는지 자연스럽게 계산하는 수천 개의 상호 작용하는 초전도체 네트워크가 있습니다. 그러나 시스템은 이러한 시냅스 가중치를 자동으로 업데이트할 수 없습니다.

4 Pennsylvania 대학의 Modified 회로 물리학자인 Sam Dillavou는 "우리는 소규모 시스템의 루프를 닫을 수 있었습니다."라고 말했습니다.

Dillavou와 그의 협력자들의 목표는 실제 지능인 뇌를 모방하는 것입니다. 뇌는 명령을 내리는 데 단일 구조가 필요하지 않은 비교적 통일된 시스템입니다. "각 뉴런은 자신의 일을 하고 있습니다"라고 그는 말했습니다. 이를 위해 그들은 시냅스 가중치가 가변 저항이고 뉴런이 저항 사이에서 측정된 전압인 자가 학습 회로를 구축했습니다.

주어진 입력을 분류하기 위해 이 회로는 데이터를 여러 노드에 적용되는 전압으로 변환합니다. 전류는 회로를 통해 흐르면서 에너지를 가장 적게 소모하는 경로를 찾고 안정화되면 전압을 변경합니다. 대답은 출력 노드의 전압을 지정하는 것입니다. 이 아이디어의 혁신은 결합 학습이라는 균형 잡힌 전파와 유사한 체계를 설계한 도전적인 학습 단계에 있습니다.

한 회로가 데이터를 수신하고 결과를 "추측"하면 다른 동일한 회로가 정답으로 시작하여 이를 동작에 통합합니다. 마지막으로 각 저항 쌍을 연결하는 전자 장치는 해당 값을 자동으로 비교하고 "더 스마트한" 구성에 맞게 조정합니다. 그룹은 "분산형 물리 기반 학습 데모"라는 제목의 사전 인쇄(아래 참조)에서 기본 회로를 설명했습니다. 이 논문에서는 이 회로가 95%의 정확도로 세 가지 유형의 꽃을 구별하는 방법을 학습할 수 있음을 보여줍니다. . 그리고 이제 그들은 더 빠르고 더 강력한 장치를 개발하고 있습니다.

문서 주소: https://arxiv.org/abs/2108.00275이 업그레이드조차도 가장 진보된 실리콘 칩을 이길 수 없습니다. 그러나 이러한 시스템을 구축하는 물리학자들은 오늘날 디지털 신경망이 강력해 보이지만 결국에는 아날로그 네트워크에 비해 느리고 부적절해 보일 것이라고 의심합니다.

디지털 신경망은 과잉 계산으로 인해 정체되기 전에 어느 정도까지만 확장할 수 있지만 더 큰 물리적 네트워크는 그 자체여야 합니다. Dillavou는 "이것은 매우 크고 빠르게 성장하며 끊임없이 변화하는 분야입니다. 저는 이러한 원리를 사용하여 매우 강력한 컴퓨터가 만들어질 것이라고 굳게 믿습니다"라고 말했습니다.

위 내용은 우주의 힘을 활용하여 데이터를 처리하세요! '물리적 네트워크”는 심층 신경 네트워크보다 훨씬 뛰어납니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!