어제 수천 명의 빅맨들이 슈퍼AI 훈련을 6개월 동안 중단하기 위해 작성한 공동 서한이 국내외 인터넷에서 폭탄처럼 터졌습니다.
하루의 논쟁 끝에 여러 주요 인물과 기타 유명 인사들이 공개적으로 답변했습니다.
일부는 매우 공식적이고 일부는 매우 개인적이며 일부는 문제에 직접 직면하지 않습니다. 그러나 한 가지 확실한 것은 이들 거물들의 견해와 그들이 대표하는 이익 집단 모두 신중하게 고려할 가치가 있다는 것입니다.
흥미로운 점은 튜링 빅3 중 한 명은 서명에 앞장섰고, 한 명은 강하게 반대했고, 한 명은 한마디도 하지 않았다는 점이다.
Bengio의 서명, Hinton의 침묵, LeCun의 반대
이 사건에서 Google Brain 전 회원이자 온라인 교육 플랫폼 Coursera의 창립자인 Andrew Ng는, 분명한 반대이다.
그는 "GPT-4를 넘어서는 AI 발전"을 6개월 동안 중단하는 것은 끔찍한 생각이라고 자신의 태도를 분명히 밝혔습니다.
그는 교육, 의료, 식품 및 기타 분야에서 많은 새로운 AI 응용 프로그램을 보았고 많은 사람들이 이로부터 혜택을 받을 것이라고 말했습니다. GPT-4를 개선하는 것도 도움이 될 것입니다.
우리가 해야 할 일은 AI가 창출하는 엄청난 가치와 실제 위험 사이에서 균형을 맞추는 것입니다.
"초강력 AI 훈련을 신속하게 중단할 수 없다면 정부가 개입해야 한다"고 언급한 공동 서한에 대해 Ng Enda는 이 아이디어도 매우 나쁘다고 말했습니다.
그는 정부에 이해하지 못하는 신흥 기술을 중단하라고 요구하는 것은 반경쟁적이고 나쁜 선례를 세우는 것이며 끔찍한 정책 혁신이라고 말했습니다.
그는 책임감 있는 AI가 중요하며 AI에는 위험이 있음을 인정했습니다.
하지만 “AI 회사들이 위험한 코드를 미친 듯이 쏟아내고 있다”는 언론의 주장은 분명 너무 과장된 것입니다. 대다수의 AI 팀은 책임 있는 AI와 안전을 매우 중요하게 생각합니다. 그러나 그는 "불행히도 전부는 아니다"라고 인정하기도 했다.
마지막으로 그는 다시 한번 강조했습니다.
6개월의 정지 기간은 현실적인 제안이 아닙니다. AI의 안전성을 향상시키기 위해 투명성과 감사에 관한 규정이 더욱 실용적이고 더 큰 영향을 미칠 것입니다. 기술이 발전함에 따라 발전을 방해하는 대신 보안에 더 많은 투자를 합시다.
그의 트위터에서 네티즌들은 이미 강한 반대를 표명했다. 사장들이 침착한 이유는 아마도 실업의 고통이 그들에게 닥치지 않기 때문일 것이다.
공동 서한이 발송되자마자 네티즌들은 서둘러 이렇게 말했습니다. 튜링상의 거물 벤지오와 르쿤이 모두 서한에 서명했습니다!
항상 인터넷 최전선을 서핑하고 있는 르쿤은 해당 루머에 대해 즉각 반박했다. “저는 서명하지도 않았고, 이 편지의 전제에도 동의하지 않습니다.
일부 네티즌들은 나도 이 편지에 동의하지 않는다고 말했지만 매우 궁금합니다. 이 편지에 동의하지 않는 이유는 LLM이 충분히 발전하지 않았고 인류를 전혀 위협할 수 없다고 느끼기 때문입니다. 다른 이유 때문인가요?
하지만 르쿤은 이 질문들에 어떤 대답도 하지 않았습니다.
20시간의 신비한 침묵 끝에 LeCun은 갑자기 한 네티즌의 트윗을 리트윗했습니다:
"OpenAI는 GPT4를 출시하기 전에 6개월을 기다렸습니다! 그들은 심지어 이 A 백서에 대해 썼습니다..."
응답 , LeCun은 다음과 같이 칭찬했습니다. 소위 "연구 개발 중단"은 "비밀 연구 개발"에 지나지 않습니다. 이는 일부 서명자가 희망하는 것과 정반대입니다.
르쿤의 안목 있는 눈빛에는 아무것도 숨길 수 없는 것 같아요.
전에 질문한 네티즌도 동의했습니다. 이것이 제가 이 청원에 반대하는 이유입니다. "나쁜 놈"은 정말 멈추지 않을 것입니다.
"그럼 이건 아무도 지키지 않는 무기 조약 같은 거요? 역사상 이런 사례가 많지 않은 걸까요?"
잠시 후 그는 큰 상사의 트윗을 리트윗했습니다.
사장은 "저도 서명하지 않았습니다. 이 편지에는 끔찍한 수사와 유효하지 않거나 존재하지 않는 정책 처방이 가득합니다"라고 말했습니다. LeCun은 "동의합니다"라고 말했습니다.
공개 서한에 가장 먼저 서명한 사람은 유명한 Turing Award 수상자 Yoshua Bengio입니다.
물론 NYU 마커스 교수도 찬성표를 던졌습니다. 그는 이 공개 서한을 공개한 최초의 사람인 것 같습니다.
토론이 시끄러워진 후, 그는 재빨리 자신의 입장을 설명하는 블로그를 올렸는데, 여전히 하이라이트가 가득했습니다.
속보: 앞서 언급한 편지가 이제 공개되었습니다. 이 서한은 "GPT-4보다 더 강력한" AI 훈련을 6개월간 유예할 것을 요구하고 있습니다. 많은 유명인들이 서명했습니다. 나도 합류했다.
그 외 다른 논란거리가 있어서 초안 작성에는 참여하지 않았습니다(예: 어떤 AI가 GPT-4보다 더 강력합니까? GPT-4의 아키텍처나 훈련 세트에 대한 자세한 내용은 아직 공개되지 않았으므로 어디에서 해야 합니까? ) —하지만 제가 지지하는 편지의 취지는 다음과 같습니다. 위험과 이점을 더 잘 처리할 수 있을 때까지는 주의해서 진행해야 합니다.
다음에 무슨 일이 일어나는지 보는 것은 흥미로울 것입니다.
그리고 Marcus가 방금 100% 동의한 또 다른 관점도 매우 흥미롭습니다. 이 관점은 다음과 같습니다.
GPT-5는 AGI가 아닙니다. 어떤 GPT 모델도 AGI가 아닐 것이라는 점은 거의 확실합니다. 오늘날 우리가 사용하는 방법(경사하강법)으로 최적화된 모델이 AGI가 되는 것은 완전히 불가능합니다. 다가오는 GPT 모델은 확실히 세상을 변화시킬 것이지만, 그것을 과장하는 것은 미친 짓입니다.
현재 Sam Altman은 이 공개 서한에 대해 명확한 입장을 밝히지 않았습니다.
그러나 그는 일반 인공 지능에 대해 몇 가지 견해를 표명했습니다.
좋은 일반 인공 지능의 구성:
1. 초지능을 위한 기술적 역량의 정렬
2. 주요 AGI 노력 간의 적절한 조정
3 효과적인 글로벌 규제 프레임워크
일부 네티즌들은 다음과 같이 질문했습니다. 무엇과 일치합니까? 어떤 사람들과 일치한다는 것은 다른 사람들과 일치하지 않는다는 것을 의미합니다."
이 댓글은 다음과 같이 밝아졌습니다. "그럼 열어두어야 합니다. OpenAI의 또 다른 창립자인 Greg Brockman은 Altman의 트윗을 리트윗하며 OpenAI의 사명은 "AGI가 모든 인류에게 이익이 되도록 하는 것"임을 다시 한번 강조했습니다. 포인트: 너희들은 하루 종일 "디자이너의 의도에 맞춘다"고 얘기하지만, 그 외에는 정렬이 실제로 무엇을 의미하는지 아는 사람이 없다. Yudkowsky (급진적) 보다 급진적인 태도를 가진 Eliezer Yudkowsky라는 의사결정 이론가도 있습니다.
이런 일이 계속되면 우리 모두는 죽게 될 것입니다. 공개 서한이 공개되자마자 Yudkowsky는 즉시 장문의 글을 써서 TIME 매거진에 게재했습니다. 자기 의견으로는 편지가 너무 온화해서 서명하지 않았다고 하더군요. 이 편지는 상황의 심각성을 과소평가하고 해결해야 할 문제가 너무 적음을 요구합니다. 핵심 이슈는 "인간과 경쟁하는" 지능이 아니라고 말했습니다. 분명히 AI가 인간보다 똑똑해지면 이 단계는 당연합니다. 요점은 그를 포함한 많은 연구자들이 초인적 지능을 갖춘 AI를 구축할 때 발생할 가능성이 가장 높은 결과는 지구상의 모든 사람이 죽을 것이라고 믿고 있다는 것입니다.
은 "어쩌면"이 아니라 "확실히"입니다. 이론적으로 AI가 이런 배려를 배울 수 있도록 가르칠 수 있어야 하는데 지금은 어떻게 해야 할지 모르겠습니다. 그런 배려가 없다면 우리가 얻게 되는 결과는 다음과 같습니다.
그리고 인간이 초인적인 AI에 저항하고 싶다면, "11세기가 21세기를 패배시키려 했다"나 "오스트랄로피테쿠스가 호모 사피엔스를 패배시키려 했다"처럼 필연적으로 실패할 것입니다.
이 AI가 충분히 똑똑해지면 컴퓨터에만 머물지 않을 것입니다. 이메일을 통해 DNA 서열을 실험실에 보낼 수 있고, 실험실은 필요에 따라 단백질을 생산하고 AI는 생명체를 갖게 된다. 그러면 지구상의 모든 생물이 죽을 것입니다. OpenAI는 미래 AI에 필요한 조정에 대한 공개 요청일 뿐입니다. 그리고 또 다른 선도적인 AI 연구소인 DeepMind는 전혀 계획이 없습니다. OpenAI 공식 블로그에서 이러한 위험은 AI의 의식 여부와 관계없이 존재합니다. 강력한 인지 시스템은 복잡한 결과를 만족시키는 표준 출력을 최적화하고 계산하기 위해 열심히 노력할 수 있습니다. 실제로 현재 AI는 단순히 훈련 데이터에서 자기 인식을 모방할 수도 있습니다. 그러나 실제로 우리는 이러한 시스템의 내부 구조에 대해 거의 알지 못합니다. 우리가 여전히 GPT-4에 대해 무지하고 GPT-5가 GPT-3에서 GPT-4까지 놀라운 기능으로 진화했다면 인간이 무엇을 창조했는지 알기가 어렵습니다. .GPT-5 또는 AI 자체. 2월 7일 Microsoft CEO Nadella도 새로운 Bing이 Google에게 "나와서 춤을 추게" 만들었다고 공개적으로 밝혔습니다. 그의 행동은 매우 비합리적입니다. 우리는 이 문제를 30년 전에 생각했어야 했는데, 6개월은 그 격차를 메우기에 충분하지 않습니다. AI 개념이 제안된 지 60년이 넘었습니다. 우리는 초인적인 AI가 "아무도 죽이지 않도록" 보장하는 데 최소한 30년을 투자해야 합니다. 우리는 실수로부터 배울 수 없습니다. 한번 틀리면 죽기 때문입니다. 6개월 동안 멈춘다면 지구가 살아남을 수 있다면 동의하겠지만 그렇지 않을 것입니다. 우리가 해야 할 일은 다음과 같습니다. 1. 새로운 대규모 언어 모델의 교육은 무기한 중단될 뿐만 아니라 글로벌 규모로 구현되어야 합니다. 그리고 정부나 군도 예외는 있을 수 없습니다. 2. 가장 강력한 AI를 훈련하는 데 사용되는 대규모 컴퓨팅 시설인 모든 대형 GPU 클러스터를 종료합니다. 대규모 AI를 훈련하는 모든 모델을 일시 중지하고, AI 시스템을 훈련할 때 모든 사람이 사용하는 컴퓨팅 성능에 한도를 설정하고, 보다 효율적인 훈련 알고리즘을 보완하기 위해 향후 몇 년 동안 이 한도를 점진적으로 낮춥니다. 정부와 군대도 예외는 아니며 금지된 행위가 다른 곳으로 이전되는 것을 방지하기 위해 즉시 다국적 협약을 체결합니다. 판매된 모든 GPU를 추적하세요. GPU 클러스터가 협정을 맺지 않은 국가에서 구축되고 있다는 정보가 있으면 문제가 되는 데이터 센터는 공습으로 파괴되어야 합니다. 국가 간 무력 충돌보다 모라토리엄 위반을 더 걱정해야 합니다. 그 어떤 것도 국익의 충돌로 보지 말고, 군비 경쟁에 대해 말하는 사람은 누구나 바보라는 것을 알아두십시오. 이런 점에서 우리는 모두 함께 살거나 함께 죽는다는 것은 정책이 아니라 자연의 사실입니다. Vote 서명량이 너무 많아 검토가 따라잡을 수 있도록 먼저 표시를 일시중지하기로 결정했습니다. (목록 상단의 서명은 모두 직접 검증한 것입니다) 
정확도가 충분하지 않으면 우리가 만든 AI가 우리가 원하는 것을 하지 않거나 우리나 다른 지각 있는 존재에 관심을 두지 않을 가능성이 가장 높은 결과입니다. 
유드코프스키는 우리가 나쁜 짓을 한다고 상상하는 AI는 인터넷에 살면서 매일 인간에게 악의적인 이메일을 보내는 사상가라고 말했지만, 실제로는 적대적인 초인적 AI, 사고 속도 수치일 수도 있다. 인간보다 백만 배나 큰 외계 문명의 눈으로 보면 인간은 멍청하고 느리다. 
이 상황에서 인간은 어떻게 살아남아야 할까요? 현재로서는 계획이 없습니다. 
위 내용은 GPT-5 연구개발 중단 요구, 치열한 공방전 촉발! 앤드류 응(Andrew Ng)과 르쿤(LeCun)이 반대측에서 선두를 달리고 벤지오(Bengio)가 지지측에 섰다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
