Google PaLM 모델도 평신도에 의해 각성되었다고 선언됩니까? 업계 관계자: 합리성 테스트는 GPT보다 3%만 더 우수합니다.

"일반 인공지능"은 이제 거의 2020년대의 "물에서 기름으로" 기술이 되었습니다. 거의 반달마다 누군가가 특정 대형 모델이 인간의 본성을 일깨웠고 AI가 "도래했다"고 발표할 것입니다. 삶" . 최근 이런 뉴스로 가장 큰 소란을 일으킨 것은 바로 구글이다. 전직 연구원인 블레이크 르모인(Blake Lemoine)이 거대 언어 모델 LaMDA가 "살아있다"고 말한 것은 예상대로 이 노인이 사임 절차에 들어갔다는 사실이 널리 알려져 있습니다.

사실 거의 동시에 The Atlantic Monthly에는 또 다른 새로운 대형 언어 모델인 PaLM도 "진정한 인공 일반 지능"이 되었다고 말하는 Google 준소프트 기사도 있었습니다. 진정한 인공일반지능) .

"The Atlantic"은 PaLM이 AGI가 되었다고 강제 발표했습니다

그러나 이 기사를 읽는 사람이 거의 없었기 때문에 소수의 토론과 비판만 촉발되었습니다.

그러나 세계적인 제조업체를 칭찬하는 세계적 주요 출판물의 원고를 아무도 읽지 않더라도 그것은 여전히 ​​​​"어두운 밤의 반딧불처럼, 너무 밝고, 너무 뛰어나다. .." 2022년 2019년 6월 19일, The Atlantic은 "인공의식은 지루하다"라는 제목의 기사를 게재했습니다.

"The Atlantic"에 실린 이 기사의 웹 제목은 이를 숨기려는 기사의 제목인 "Google의 PaLM AI Is Far Stranger Than Conscious"보다 더 직설적입니다.

내용은 놀랍지 않습니다. 저자가 Google Brain의 PaLM 프로젝트 팀원을 인터뷰한 후 칭찬한 내용입니다. 5,400억 개의 매개변수가 사전 교육 없이 수백 가지의 다양한 작업을 완료할 수 있습니다. 농담을 말하고 내용을 요약할 수 있습니다. 사용자가 벵골어로 질문을 입력하면 PaLM 모델은 벵골어와 영어로 응답할 수 있습니다.

사용자가 C 언어에서 Python으로 코드 조각을 번역해야 하는 경우 PaLM 모델을 사용하면 이를 신속하게 완료할 수도 있습니다. 하지만 이 기사는 소프트 기사라고 의심받았던 자랑스러운 인터뷰 대본에서 PaLM 모델이 "진정한 인공 일반 지능"(진정한 인공 일반 지능)임을 알리는 아첨하는 초안으로 점차 바뀌었습니다.

"자체 개발자를 놀라게 한 기능, 겁먹지 않고 받아들이기 위해서는 지적 쿨함과 거리감이 필요합니다. PaLM은 놀라지 않을 정도의 거리감과 지적 쿨함을 가지고 있습니다." )

구글이 대형 모델을 AGI라고 강제 발표한 것은 이번 달 두 번째다. 이 주장의 근거는 무엇입니까? 이 기사의 저자에 따르면 PaLM 모델은 사전에 특별한 교육 없이도 자체적으로 다양한 지능형 작업을 해결하기 위해 "박스에서 벗어나" 수 있기 때문입니다. 또한 PaLM 모델에는 '사고 연쇄 프롬프트' 기능이 있어 PaLM 모델에 대한 문제 해결 과정을 분해, 설명, 시연한 후 PaLM이 스스로 정답을 도출할 수 있습니다.

Jeff Dean 자신은 PaLM이 AGI라고 말한 적이 없습니다.

기믹과 증거 사이의 격차는 엄청난 "바지를 벗고 이것을 보세요"라는 느낌을 줍니다. 역시 의견이 갈린다. 정보를 확인한 뒤 기사를 쓰기 위해 사람들과 인터뷰를 시작하는 것이 습관이다.

이렇게 말씀드리는 이유는 제프 딘 선생님께서 팀을 이끌고 PaLM 모델을 출시하실 때 "Thinking Chain Prompt" 기능을 소개하셨기 때문입니다. 하지만 구글 브레인은 이 제품이 '터미네이터'가 되살아난 것이라고 감히 자랑하지 못할 것이다. 2021년 10월 Jeff Dean은 새로운 머신러닝 아키텍처인 Pathways를 소개하는 기사를 직접 작성했습니다. 목적은 매우 간단합니다. AI가 수만 가지 작업에 걸쳐 다양한 유형의 데이터를 이해하고 동시에 매우 높은 효율성으로 이를 달성할 수 있도록 하는 것입니다.

반년여가 지난 2022년 3월, Jeff Dean이 마침내 Pathways 논문을 발표했습니다. 논문 주소: https://arxiv.org/abs/2203.12533 그중 가장 기본적인 시스템 아키텍처 등 많은 기술적 세부 사항이 추가되었습니다.

2022년 4월, Pathways 시스템을 사용하여 구축된 Google의 PaLM 언어 모델이 출시되었습니다. 5,400억 개의 매개변수를 갖춘 이 Transformer 언어 모델은 여러 자연어 처리 작업의 SOTA를 연속적으로 깨뜨렸습니다. 강력한 Pathways 시스템을 사용하는 것 외에도 PaLM의 교육에는 7,800억 개의 토큰으로 구성된 고품질 데이터 세트를 사용하는 6144 TPU v4가 사용되며 그 중 22%가 영어가 아닌 다국어 코퍼스임을 소개합니다.

논문 주소: https://arxiv.org/abs/2204.02311 "자기 지도 학습"과 "사고 연쇄 프롬프트"는 이전에는 AI 업계에서 친숙한 개념이었으며, PaLM 모델은 단지 새로운 개념일 뿐입니다. 개념을 현실로 더욱 구현해 보세요. 설상가상으로 Atlantic Monthly 기사에는 "Google 연구원들은 PaLM 모델이 왜 이 기능을 달성할 수 있는지 모른다"고 직접 언급했습니다... 이는 Jeff Dean 선생님이 너무 바쁘고 그를 위해 해줄 수 있는 일을 찾고 있기 때문입니다.

비평가: Atlantic Monthly의 진술은 신뢰할 수 없습니다

물론, 미국 캘리포니아주 산타페 연구소 회원인 Melanie Mitchell 교수는 자신의 소셜 네트워크 계정에 암묵적이지만 단호하게 대서양에 의문을 제기하는 일련의 게시물을 게시했습니다. 월간》이 기사.

Melanie Mitchell은 다음과 같이 말했습니다. "이 기사는 매우 흥미롭지만 저자는 Google 연구원 외에 AI 업계의 전문가를 인터뷰하지 않았을 수도 있습니다.

예를 들어 다음과 같이 주장하는 다양한 증거가 있습니다. PaLM 모델은 "진짜 AGI"입니다. PaLM을 사용할 권한이 없지만 Google이 4월에 자체 발표한 논문에서는 여러 벤치마크 테스트의 소규모 표본 학습 테스트에서만 중요한 결과를 보여줬을 뿐 PaLM의 모든 소규모 학습 테스트는 그렇지 않았습니다. 샘플 학습 테스트 결과는 동일하게 강력합니다

. 그리고 "Atlantic Monthly"의 문구에 따르면 테스트에 사용된 벤치마크 중 얼마나 많은 "단축 학습" 기술을 사용하여 난이도를 단순화했는지 언급되지 않았습니다. PaLM은 최소한 다양한 작업을 완료하는 데 있어 매우 안정적이고 다재다능하며 신뢰할 수 있습니다.

그러나 이 기사나 Google 4월 논문에서는 일반 지능 분야의 PaLM 모델의 기능과 한계를 설명하지 않습니다. 또한 이 능력을 테스트하기 위한 벤치마크도 언급하지 않습니다.

그리고 PaLM의 "합리적" 주장은 특히 검증이 필요합니다. PaLM이 이에 대해 다양한 실험을 수행한 업계 내부자들에 의해 유사한 주장이 조작되었습니다. 이러한 명예는 동일한 수준의 적대적 검증을 받을 자격이 있습니다. 또한 4월 논문에서 Google의 고백에 따르면 PaLM의 합리적인 벤치마크 테스트는 업계의 여러 유사한 SOTA 모델보다 약간 더 나을 뿐이며 승자는 많지 않습니다.

가장 중요한 것은 PaLM의 논문은 동료 검토를 거치지 않았으며 모델은 외부 접근에 공개되지 않는다는 것입니다. 모든 주장은 한 입에 불과하며 확인, 재현 또는 평가할 수 없습니다. ”

위 내용은 Google PaLM 모델도 평신도에 의해 각성되었다고 선언됩니까? 업계 관계자: 합리성 테스트는 GPT보다 3%만 더 우수합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!