


산수능력은 만점에 가깝습니다! 싱가포르 국립대학교는 단 70억 개의 매개변수만으로 GPT-4를 죽이고 처음에는 16자리 곱셈과 나눗셈을 지원하는 Goat를 출시했습니다.
대규모 언어 모델은 다양한 자연어 처리 작업에서 뛰어난 성능을 보여주었지만, 산술 문제는 현재 가장 강력한 GPT-4라도 기본적인 작업을 처리하기에는 여전히 어렵습니다.
최근 싱가포르 국립대학교 연구진이 산술 전용 모델인 Goat를 제안했습니다. LLaMA 모델을 기반으로 미세 조정한 끝에 GPT-4보다 훨씬 뛰어난 산술 성능을 달성했습니다.
논문 링크: https://arxiv.org/pdf/2305.14201.pdf
합성 산술 데이터 세트를 미세 조정하여 Goat는 BIG-bench 산술 하위 작업에서 좋은 성능을 발휘합니다. 최첨단 성능 달성
Goat는 감독된 미세 조정을 통해서만 큰 수 덧셈 및 뺄셈 연산에서 거의 완벽한 정확도를 달성할 수 있으며 Bloom, OPT, 그 중 GPT-NeoX는 샘플이 없는 Goat-7B가 몇 번의 학습 후에 PaLM-540을 능가하는 정확도를 달성한 것으로 연구원들은 LLaMA의 일관된 숫자 단어 분할 기술 덕분에 Goat의 뛰어난 성능을 꼽았습니다.
대수 곱셈, 나눗셈과 같은 더 어려운 작업을 해결하기 위해 연구원들은 산술의 학습 가능성에 따라 작업을 분류한 다음 기본 산술 원리를 사용하여 학습 불가능한 작업을 분류하는 방법도 제안했습니다. 여러 자리 곱셈과 나눗셈은 일련의 학습 가능한 작업으로 분류됩니다.
종합적인 실험 검증을 거친 후, 기사에서 제안한 분해 단계는 연산 성능을 효과적으로 향상시킬 수 있습니다.
그리고 Goat-7 B는 24GB VRAM GPU에서 LoRA를 사용하여 효율적으로 훈련할 수 있습니다. 다른 연구자들도 실험을 매우 쉽게 반복할 수 있습니다. 데이터 세트를 생성하는 데 필요한 모델, 데이터 세트 및 Python 스크립트는 곧 오픈 소스로 제공될 예정입니다.
셀 수 있는 언어 모델
언어 모델LLaMA은 공개적으로 사용 가능한 데이터 세트를 사용하여 수조 개의 토큰을 학습한 후 얻은 오픈 소스 사전 학습된 언어 모델 세트입니다. 여러 벤치마크에서 최고의 성능을 달성했습니다.
이전 연구 결과에 따르면 LLM의 산술 능력에는 토큰화가 중요하지만 일반적으로 사용되는 토큰화 기술로는 숫자를 잘 표현할 수 없습니다. 예를 들어 자릿수가 너무 많은 숫자는 분할될 수 있습니다.
LLaMA는 디지털 표현의 일관성을 보장하기 위해 숫자를 여러 토큰으로 분할하기로 결정했습니다. 연구원들은 실험 결과에 나타난 뛰어난 산술 능력이 주로 LLaMA의 일관된 숫자 분할 때문이라고 믿습니다.
실험에서 Bloom, OPT, GPT-NeoX 및 Pythia와 같은 기타 미세 조정된 언어 모델은 LLaMA의 산술 기능과 일치하지 못했습니다.
산술 작업의 학습성
일부 연구자들은 이전에 중간 감독을 사용하여 복합 작업을 해결하는 것에 대한 이론적 분석을 수행했으며 결과에 따르면 이러한 종류의 작업은 학습할 수 없지만 간단한 하위 작업의 다항식 수.
즉, 학습 불가능한 복합 문제는 중간 감독 또는 CoT(Chain of Step)를 사용하여 학습할 수 있습니다.
이 분석을 바탕으로 연구자들은 먼저 학습 가능한 작업과 학습 불가능한 작업을 실험적으로 분류했습니다.
산술 컴퓨팅의 맥락에서 학습 가능한 작업은 일반적으로 모델이 성공적으로 훈련되어 답을 직접 생성할 수 있는 작업을 의미하며, 이를 통해 미리 정의된 훈련 시대 수 내에서 충분히 높은 정확도를 달성할 수 있습니다.
학습 불가능한 작업은 모델이 광범위한 훈련 후에도 올바르게 학습하고 직접적인 답변을 생성하는 데 어려움을 겪는 작업입니다.
작업 학습성이 변화하는 정확한 이유는 완전히 이해되지 않았지만 기본 패턴의 복잡성 및 작업을 완료하는 데 필요한 작업 메모리의 크기와 관련이 있다고 가정할 수 있습니다.
연구원들은 단순화된 합성 환경에서 각 작업에 맞게 모델을 구체적으로 미세 조정하여 이러한 작업의 학습 가능성을 실험적으로 조사했습니다.
학습 가능한 작업과 학습 불가능한 작업
작업 분류의 결과도 인간의 인식과 동일합니다. 연습을 통해 인간은 마음속으로 두 개의 큰 숫자의 덧셈을 계산할 수 있습니다. 뺄셈의 경우, 손으로 계산할 필요 없이 왼쪽(최상위 숫자)에서 오른쪽(최하위 숫자)으로 직접 최종 숫자 답을 쓸 수 있습니다.
하지만 큰 수의 곱셈과 나눗셈을 푸는 암산은 어려운 작업입니다.
위의 작업 분류 결과도 GPT-4의 성능과 일치하는 것을 볼 수 있습니다. 특히 GPT-4는 다항식의 경우 큰 수 덧셈과 뺄셈에 대한 직접적인 답을 생성하는 데 능숙합니다. 숫자 곱셈 및 나눗셈 작업을 수행하면 정확도가 크게 떨어집니다.
GPT-4와 같은 강력한 모델이 학습 불가능한 작업을 직접 해결할 수 없다는 점은 광범위한 교육 후에도 이러한 작업에 대한 직접적인 답변을 생성하는 것이 극도로 어렵다는 것을 의미할 수도 있습니다.
LLaMA에서 학습 가능한 작업이 반드시 다른 LLM에서 학습 가능한 것은 아닐 수도 있다는 점은 주목할 가치가 있습니다.
또한 학습 불가능으로 분류된 모든 작업이 모델의 학습이 완전히 불가능한 것은 아닙니다.
예를 들어 두 자리 숫자를 두 자리 숫자로 곱하는 것은 학습 불가능한 작업으로 간주되지만 훈련 세트에 가능한 모든 두 자리 곱셈 열거 데이터가 포함되어 있으면 모델은 훈련 세트를 과적합하여 학습할 수 있습니다. . 직접 답변을 생성합니다.
그러나 약 90%의 정확도를 달성하려면 전체 프로세스에 거의 10세대가 필요합니다.
최종 답 앞에 기사에서 제안한 CoT를 삽입함으로써 모델은 1 에포크 훈련 후 두 자리 곱셈에서 상당히 좋은 정확도를 얻을 수 있으며 이는 이전 연구 결론, 즉 중간값과도 일치합니다. 감독이 있으면 학습 과정이 촉진됩니다.
더하기 및 빼기
이 두 가지 산술 연산은 학습 가능하며 감독된 미세 조정만으로도 모델은 직접적인 숫자 답을 정확하게 생성하는 놀라운 능력을 보여주었습니다.
모델은 매우 제한된 덧셈 데이터 하위 집합에 대해서만 학습되었지만 모델은 보이지 않는 테스트 세트에서 거의 완벽한 정확도를 달성했다는 사실에서 알 수 있듯이 산술 연산을 성공적으로 캡처합니다. CoT를 사용하여
Multiplication
연구원들은 n자리 곱셈과 1자리 곱셈은 학습 가능하지만 여러 자리 곱셈은 학습할 수 없다는 것을 실험적으로 확인했습니다.
이 문제를 극복하기 위해 연구원들은 답을 생성하기 전에 LLM을 미세 조정하여 CoT를 생성하고 여러 자리 곱셈을 학습 가능한 5개의 하위 작업으로 분해하기로 결정했습니다.
1 추출, 자연어에서 산술 표현식 추출. 지침
2. 둘 중 작은 값을 자릿수로 나눕니다
3. 분산 확장 및 합산 기반 확장
4. 각 항목을 동시에 계산
5. 이전 항을 추가하고, 나머지 항을 복사합니다. 최종 합계를 구합니다
각 작업은 학습 가능합니다.
Division
마찬가지로 n자리 숫자를 1자리 숫자로 나누는 것은 학습 가능하지만 여러 자리 나누기는 학습 가능하지 않다는 것을 실험적으로 관찰할 수 있습니다.
연구원들은 개선된 느린 나눗셈의 재귀 방정식을 사용하여 새로운 사고 체인 프롬프트를 설계했습니다.
주요 아이디어는 나머지가 제수보다 작아질 때까지 피제수에서 제수의 배수를 빼는 것입니다.
Dataset
문서에서 설계된 실험은 두 개의 양의 정수를 더하고 빼는 것입니다. 각 양의 정수는 최대 16자리를 포함하며 빼기 연산의 결과는 다음과 같습니다. 음수.
생성되는 최대 시퀀스 길이를 제한하기 위해 곱셈의 결과는 두 개의 양의 정수를 나눈 값이 12자리 이내이고 피제수는 12자리 미만이며 몫은 6자리 이내입니다.
연구원들은 Python 스크립트를 사용하여 데이터 세트를 합성하고 약 100만 개의 질문 및 답변 쌍을 생성했습니다. 답변에는 제안된 CoT와 최종 수치 출력이 포함되어 있어 반복 가능성이 보장됩니다. 인스턴스는 매우 낮지만 작은 숫자가 여러 번 샘플링될 수 있습니다.
Fine-tuning
모델이 지침을 기반으로 산술 문제를 해결하고 자연어 질문 응답을 용이하게 하기 위해 ChatGPT를 사용하여 수백 개의 지침 템플릿을 생성했습니다.
명령 조정 과정에서 훈련 세트의 각 산술 입력에 대해 템플릿이 무작위로 선택되고 Alpaca에서 사용되는 방법과 유사하게 LLaMA-7B가 미세 조정됩니다.
Goat-7B는 24GB VRAM GPU에서 LoRA를 사용하여 미세 조정할 수 있으며, A100 GPU에서 100,000개의 샘플을 완료하는 데 약 1.5시간밖에 걸리지 않고 거의 완벽한 정확도를 달성합니다.
실험 결과
GPT-4는 직접 답변을 생성하는 반면 Goat는 설계된 사고 체인에 의존하기 때문에 Goat와 GPT-4의 성능을 많은 수의 곱셈과 나눗셈 측면에서 비교하는 것은 불공평해 보입니다. GPT-4 평가 중에 각 프롬프트의 끝에 "단계별로 해결"도 추가되었습니다
그러나 경우에 따라 GPT-4가 중간 단계를 수행하더라도 긴 곱셈과 나눗셈은 틀렸지만 최종 답은 여전히 정확합니다. 이는 GPT-4가 최종 출력을 개선하기 위해 사고 체인의 중간 감독을 사용하지 않음을 의미합니다.
GPT-4의 솔루션에서 최종적으로 확인된 3가지 일반적인 오류:
1 해당 숫자 정렬
2. 반복되는 숫자
3. n자리에 1자리를 곱한 중간 결과가 틀렸습니다
GPT-4가 8D+8D와 16D+에서 잘 작동하는 것을 볼 수 있습니다. 16D 작업 성능은 꽤 좋지만 대부분의 16D+8D 작업에서 계산 결과가 잘못되었습니다. 직관적으로는 16D+8D가 16D+16D보다 상대적으로 쉬울 것입니다.
이 문제의 정확한 원인은 알 수 없지만 한 가지 가능한 요인은 GPT-4의 일관되지 않은 숫자 분할 프로세스로 인해 두 숫자 사이를 정렬하기 어렵게 만드는 것일 수 있습니다.
위 내용은 산수능력은 만점에 가깝습니다! 싱가포르 국립대학교는 단 70억 개의 매개변수만으로 GPT-4를 죽이고 처음에는 16자리 곱셈과 나눗셈을 지원하는 Goat를 출시했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

1. 소개 지난 몇 년 동안 YOLO는 계산 비용과 감지 성능 간의 효과적인 균형으로 인해 실시간 객체 감지 분야에서 지배적인 패러다임이 되었습니다. 연구원들은 YOLO의 아키텍처 설계, 최적화 목표, 데이터 확장 전략 등을 탐색하여 상당한 진전을 이루었습니다. 동시에 사후 처리를 위해 NMS(비최대 억제)에 의존하면 YOLO의 엔드투엔드 배포가 방해되고 추론 대기 시간에 부정적인 영향을 미칩니다. YOLO에서는 다양한 구성 요소의 설계에 포괄적이고 철저한 검사가 부족하여 상당한 계산 중복이 발생하고 모델 기능이 제한됩니다. 이는 최적이 아닌 효율성을 제공하며 성능 향상을 위한 상대적으로 큰 잠재력을 제공합니다. 이 작업의 목표는 사후 처리와 모델 아키텍처 모두에서 YOLO의 성능 효율성 경계를 더욱 향상시키는 것입니다. 이를 위해
