AI에도 기억상실증이 있나요? 41세 영국 교수와의 단독 인터뷰: 치명적인 망각을 해결하다
지속적인 학습을 달성하고 AI를 지속적으로 개선하는 방법은 무엇입니까?
최근 로체스터 대학의 컴퓨터 과학자인 41세 Christopher Kanan은 독점 인터뷰에서 AI가 인간처럼 시간이 지남에 따라 지속적으로 학습할 수 있는 알고리즘을 구축하고 있다고 말했습니다.
재앙적인 망각
우리 모두 알고 있듯이 AI는 훈련 후에 "시험 범위 내에서" 작업을 매우 잘 완료할 수 있지만 이러한 알고리즘은 인간과 같은 새로운 정보로 지식 기반을 지속적으로 업데이트할 수 없습니다.
새로운 것을 하나라도 배우기 위해서는 알고리즘을 처음부터 다시 훈련해야 하며, 그 대가로 이전에 배운 거의 모든 것을 잊어야 합니다. 이것이 가져오는 문제는 - "재앙적인 망각"입니다. 새로운 친구를 만났을 때와 마찬가지로, 그 친구의 이름을 알 수 있는 유일한 방법은 두뇌를 재부팅하는 것입니다.
이런 일이 발생하는 이유는 신경망이 새로운 것을 학습하는 방식 때문입니다. 이러한 알고리즘을 학습하려면 뉴런 간의 연결 강도를 변경해야 합니다. 그러나 이는 과거 지식이기도 하므로 연결을 너무 많이 변경하면 망각하게 됩니다.
생물학적 신경망은 중요한 정보를 안정적으로 유지하기 위해 수억 년에 걸쳐 전략을 발전시켜 왔습니다. 그러나 오늘날의 인공 신경망은 오래된 지식과 새로운 지식 사이의 적절한 균형을 맞추는 데 어려움을 겪고 있습니다. 네트워크가 새로운 데이터를 볼 때 연결이 쉽게 덮어쓰기될 수 있으며, 이로 인해 과거 정보를 인식할 수 없는 갑작스럽고 심각한 문제가 발생할 수 있습니다.
1. 철학 공부가 연구에 대한 생각에 어떤 영향을 미쳤나요?
당신에게 가르치는 철학은 "합리적인 주장을 하는 방법"과 "다른 사람의 주장을 분석하는 방법"입니다.
저의 연구실은 다음 질문에서 영감을 받았습니다: X를 할 수 없다면 Y를 어떻게 할 수 있습니까? ?
우리는 시간이 지남에 따라 학습하지만 신경망은 학습하지 않으며 지식의 양은 고정되어 있습니다. 그래서 미래에 인간이 일반 인공지능을 만들고자 한다면 이는 반드시 해결해야 할 기본적인 문제이다.
Kanan의 연구 노트
2. 현재 학계에서는 치명적인 망각 문제를 해결하기 위한 진전이 무엇인가요?
현재 가장 성공적인 방법은 Replay라고 하는데, 이는 과거 지식을 저장했다가 훈련 과정 중에 새로운 데이터 세트로 재생할 수 있어 원래 정보가 손실되지 않습니다.
이 방법은 우리 두뇌의 기억 통합 과정에서 영감을 얻었습니다. 수면 중에 뉴런이 활성화됨에 따라 하루 학습 내용이 다시 인코딩되고 재생됩니다.
즉, 새로운 학습이 알고리즘의 과거 지식을 완전히 근절할 수는 없습니다.
이를 달성하는 방법에는 세 가지가 있습니다.
- 가장 일반적인 접근 방식은 연구자가 원래 입력의 하위 집합(예: 객체 인식 작업을 위한 원시 이미지)을 저장한 다음 저장된 과거 이미지를 학습된 새 이미지와 혼합하는 '실제 재생'입니다.
- 두 번째 방법은 이미지의 압축된 표현을 재생하는 것입니다.
- 세 번째 덜 일반적인 방법은 "재생 생성"입니다.
여기서 인공 신경망은 실제로 과거 경험의 합성 버전을 생성한 다음 해당 합성 사례와 새로운 사례를 혼합합니다. 내 연구실에서는 후자의 두 가지 접근 방식에 중점을 두고 있습니다.
3. 치명적인 망각을 완전히 해결할 수 있다면 AI가 시간이 지남에 따라 새로운 것을 배울 수 있다는 뜻인가요?
정확히는 아닙니다. 지속적인 학습 분야의 열린 문제는 치명적인 망각이 아니라고 생각합니다.
제가 정말 관심을 갖는 것은
과거의 학습이 미래의 학습을 어떻게 더 효율적으로 만들 수 있을까요? 미래 학습은 과거 학습을 어떻게 교정합니까? 이것은 극소수의 사람들이 측정하는 것입니다. 저는 그렇게 하는 것이 이 분야를 발전시키는 핵심 부분이라고 생각합니다. 왜냐하면 실제로는 무언가를 잊어버리는 것이 아니라 더 나은 학습자가 되는 것이기 때문입니다.
크리스토퍼 케이넌이 말했습니다:
우리 머리 속에서는 확실히 현대 신경망보다 훨씬 더 많은 일이 일어나고 있습니다. 과거 학습이 미래 학습에 도움이 되는지 측정하려면 올바른 실험 및 알고리즘 설정을 설정해야 합니다. 그리고 지금 가장 큰 문제는 지속적인 학습을 연구할 수 있는 좋은 데이터 세트가 없다는 점입니다. 우리는 기본적으로 전통적인 기계 학습에 사용되는 기존 데이터 세트를 가져와 처음부터 개발하고 있습니다.
일반적으로 기계 학습의 일반적인 작동은 훈련 세트와 테스트 세트가 있다는 것입니다. 훈련 세트로 훈련하고 테스트 세트로 테스트합니다.
그러나 지속적인 학습은 이러한 규칙을 깨뜨리므로 트레이너가 학습함에 따라 훈련 세트가 발전할 수 있으므로 매우 좋은 지속적인 학습 환경이 필요합니다.
4. 이상적인 지속적인 학습 환경은 어떤 모습이어야 할까요?
있는 것보다 없는 것을 말하는 것이 더 쉽습니다.
그것이 가질 수 있는 속성을 알려드릴 수 있습니다. 그래서 지금은 AI 알고리즘이 시뮬레이션에서 구현된 지능이 아니라고 가정해보자. 그리고 적어도 이상적으로는 우리는 비디오나 다중 모드 비디오 스트림과 같은 것에서 학습하고 있으며 단순히 정적 이미지를 분류하는 것 이상의 작업을 수행하고 싶습니다.
이에 관해 공개 질문이 많이 있습니다. 몇 년 전 지속적인 학습 워크숍에 참석한 적이 있는데, 저 같은 사람들이 "MNIST라는 데이터 세트 사용을 중단해야 합니다. 너무 간단합니다."라고 말했고, 또 누군가는 "그럼 Incremental로 가겠습니다."라고 말했습니다. 스타크래프트 학습
지금 여러 가지 이유로 이 일을 하고 있지만, 실제로 문제를 해결하기에는 충분하지 않은 것 같습니다. 결국, 인생에는 스타크래프트를 배우는 것보다 훨씬 더 많은 것이 있습니다.
5. 귀하의 연구실에서는 시간이 지남에 따라 학습하는 알고리즘을 어떻게 설계하려고 합니까?
제 학생인 Tyler Hayes와 저는 유추 추론에 대한 지속적인 학습 연구를 개척했습니다. 이 기사는 CVPR 2021에도 게재되었습니다.
논문 링크: https://openaccess.thecvf.com/content/CVPR2021W/CLVision/html/Hayes_Selective_Replay_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_CVPRW_2021_paper.html
우리는 이것이 전이 학습 분야 이제 더 복잡한 문제를 해결하려면 정교한 기술이 필요합니다.
구체적으로는 과거에 배운 것이 미래에 얼마나 도움이 되는지, 즉 역전이(backward transfer)에 대한 데이터를 측정했고, 그 반대도 마찬가지였습니다.
우리는 물체 인식과 같은 단순한 작업보다 훨씬 더 중요한 전송의 좋은 증거를 찾았습니다.
6. 인공지능도 정말 인간처럼 학습할 것 같나요?
그렇게 될 것 같아요. 이 분야에는 이 목표를 향해 노력하는 매우 재능 있는 사람들이 많이 있습니다.
하지만 우리에게 필요한 것은 창의성입니다. 기계 학습 커뮤니티의 많은 연구는 이전 연구를 기반으로 하고 약간의 개선을 이루었지만 진정으로 혁신적인 연구는 많지 않습니다.
하지만 이런 날은 반드시 오겠죠, 시간문제일 뿐이죠.
Christopher Kanan
Christopher Kanan은 로체스터 대학의 컴퓨터 공학과 종신 부교수입니다. 주요 업무 방향은 지속적인 학습, 인공지능의 편향, 의료 컴퓨터 비전, 언어 유도 장면 이해 등 딥러닝에 대한 기초 연구입니다.
Kanan은 온라인 연속 학습, 시각적 질문 답변, 컴퓨터 병리학, 의미론적 분할, 객체 인식, 객체 감지, 능동 비전, 객체 추적 등 분야에서 일했습니다. 그는 기계 학습 외에도 시선 추적, 영장류 시각 및 이론 신경과학에 대한 탄탄한 배경 지식을 보유하고 있습니다.
이전에 그는 Rochester Institute of Technology(RIT)의 Carlson 이미징 과학 센터에서 종신 부교수로 재직했습니다. 그는 재임 기간 동안 동료들과 함께 인간의식인공지능센터(CHAI)를 공동 창립하고 4년간 부소장을 역임했다. 또한 Kanan은 Cornell University of Technology의 방문 부교수로 4년 동안 매년 약 100명의 대학원생에게 딥 러닝 과정을 가르쳤습니다.
Christopher Kanan은 오클라호마 시골의 작은 마을에서 자랐습니다.
1996년에 그는 인공 지능을 탐구하기 시작했습니다. 고등학생이었을 때 Kanan은 온라인 멀티플레이어 컴퓨터 게임을 플레이하기 위해 자체 제작한 "봇"을 많이 만들었습니다.
Kanan은 2002년에 오클라호마 주립대학교(OSU)에 입학하여 철학과 컴퓨터 과학을 전공했고, 2004년에 학사 학위를 받았습니다.
2006년 USC(University of Southern California)에서 인공 지능과 신경 과학에 중점을 두고 컴퓨터 과학 석사 학위를 받았으며, 컴퓨터 신경 과학 및 신경 네트워크 분야의 선구자인 Michael Arbib과 함께 작업했습니다. 2013년에 그는 캘리포니아 대학교 샌디에이고 캠퍼스(UCSD)에서 컴퓨터 공학 박사 학위를 받았습니다. 졸업 후 Kanan은 박사후 연구에 참여하기 위해 California Institute of Technology로갔습니다.
참고자료: https://www.Quantamagazine.org/the-computer-scientist-trying-to-teach-ai-to-learn-like-we-do-20220802/
위 내용은 AI에도 기억상실증이 있나요? 41세 영국 교수와의 단독 인터뷰: 치명적인 망각을 해결하다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











Binance는 Global Digital Asset Trading Ecosystem의 대 군주이며, 그 특성에는 다음이 포함됩니다. 1. 평균 일일 거래량은 1,500 억 달러를 초과하여 주류 통화의 98%를 차지하며 500 개의 거래 쌍을 지원합니다. 2. 혁신 매트릭스는 파생 상품 시장, Web3 레이아웃 및 교육 시스템을 포함합니다. 3. 기술적 이점은 밀리 초에 일치하는 엔진이며, 최고 처리량은 초당 140 만 건의 트랜잭션입니다. 4. 규정 준수 진행 상황은 15 개국 라이센스를 보유하고 있으며 유럽과 미국에 준수 엔티티를 설립합니다.

거래소는 오늘날의 cryptocurrency 시장에서 중요한 역할을합니다. 그들은 투자자들이 거래 할 수있는 플랫폼 일뿐 만 아니라 시장 유동성 및 가격 발견의 중요한 원천이기도합니다. 세계 최대의 가상 환전 거래소는 상위 10 위이며, 이러한 거래소는 거래량이 훨씬 앞서있을뿐만 아니라 사용자 경험, 보안 및 혁신적인 서비스에서 고유 한 장점이 있습니다. 목록 위에있는 교환은 일반적으로 대규모 사용자 기반과 광범위한 시장 영향을 미치며 거래량 및 자산 유형은 종종 다른 거래소에서 도달하기가 어렵습니다.

ETH 업그레이드 후, 초보자는 손실을 피하기 위해 다음 전략을 채택해야합니다. 1. 숙제를하고 기본 지식과 ETH의 업그레이드 내용을 이해합니다. 2. 통제 위치, 소량으로 물을 테스트하고 투자를 다각화합니다. 3. 거래 계획을 세우고 목표를 명확하게하고 중지 손실 지점을 설정하십시오. 4. 합리적으로 프로파일 링하고 정서적 의사 결정을 피하십시오. 5. 공식적이고 안정적인 거래 플랫폼을 선택하십시오. 6. 단기 변동의 영향을 피하기 위해 장기 보유를 고려하십시오.

가상 통화 가격 상승의 요인은 다음과 같습니다. 1. 시장 수요 증가, 2. 공급 감소, 3. 긍정적 인 뉴스, 4. 낙관적 시장 감정, 5. 거시 경제 환경; 감소 요인에는 다음이 포함됩니다. 1. 시장 수요 감소, 2. 공급 증가, 3. 부정적인 뉴스의 파업, 4. 비관적 시장 감정, 5. 거시 경제 환경.

최고 거래소에는 다음이 포함됩니다. 1. 세계 최대의 거래량 인 Binance는 600 개의 통화를 지원하며 스팟 취급 수수료는 0.1%입니다. 2. 균형 잡힌 플랫폼 인 OKX는 708 개의 거래 쌍을 지원하며 영구 계약 처리 수수료는 0.05%입니다. 3. Gate.io, 2700 개의 소규모 통화를 포괄하며 스팟 취급 수수료는 0.1%-0.3%입니다. 4. Coinbase, 미국 규정 준수 벤치 마크, 스팟 취급 수수료는 0.5%입니다. 5. Kraken, 최고 보안 및 정기 예약 감사.

2025 년에 레버리지 거래, 보안 및 사용자 경험에서 뛰어난 성능을 보이는 플랫폼은 다음과 같습니다. 1. OKX, 고주파 거래자에게 적합하여 최대 100 배의 레버리지를 제공합니다. 2. Binance, 전 세계의 다중 통화 거래자에게 적합하며 125 배 높은 레버리지를 제공합니다. 3. Gate.io, 전문 파생 상품 플레이어에게 적합하며 100 배의 레버리지를 제공합니다. 4. 초보자 및 소셜 트레이더에게 적합한 Bitget, 최대 100 배의 레버리지를 제공합니다. 5. 크라켄은 꾸준한 투자자에게 적합하며 5 배의 레버리지를 제공합니다. 6. Bybit, Altcoin Explorers에 적합하며 20 배의 레버리지를 제공합니다. 7. 저비용 거래자에게 적합한 Kucoin, 10 배의 레버리지를 제공합니다. 8. 비트 피 넥스, 시니어 플레이에 적합합니다

크로스 체인 거래를 지원하는 교환 : 1. Binance, 2. Uniswap, 3. Sushiswap, 4. Curve Finance, 5. Thorchain, 6. 1inch Exchange, 7. DLN 거래,이 플랫폼은 다양한 기술을 통해 다중 체인 자산 거래를 지원합니다.

Worldcoin (WLD)은 Cryptocurrency 시장에서 고유 한 생체 인정 및 개인 정보 보호 메커니즘으로 눈에 띄고 많은 투자자의 관심을 끌고 있습니다. WLD는 혁신적인 기술, 특히 OpenAi 인공 지능 기술과 함께 Altcoins에서 뛰어난 성과를 거두었습니다. 그러나 향후 몇 년 안에 디지털 자산은 어떻게 행동 할 것인가? WLD의 미래 가격을 함께 예측합시다. 2025 WLD 가격 예측은 2025 년 WLD에서 상당한 성장을 달성 할 것으로 예상됩니다. 시장 분석에 따르면 평균 WLD 가격은 최대 $ 1.36로 $ 1.31에 도달 할 수 있습니다. 그러나 곰 시장에서 가격은 약 $ 0.55로 떨어질 수 있습니다. 이러한 성장 기대는 주로 WorldCoin2에 기인합니다.
