목차
Musk Grok은 GPT-4에 이어 두 번째이며, 오픈 소스 Llemma는 우수한 결과를 가지고 있습니다.
기술 주변기기 일체 포함 대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 '악마 거울'

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 '악마 거울'

Nov 17, 2023 pm 12:38 PM
ai 데이터

요즘에는 빅모델들이 수학을 잘한다고 주장하는 경우가 많은데, 누가 진짜 재능을 갖고 있나요? 연속 시험 문제에서 누가 "속임수"를 쳤습니까?

올해 헝가리 수학 기말고사

많은 모델들이 갑자기 "원래의 모습을 드러냈습니다".

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

먼저 녹색 부분을 살펴보세요. 이러한 대형 모델은 고전 수학 테스트 세트 GSM8k와 새 논문에서 유사한 결과를 얻었으며 함께 참조 표준을 형성합니다.

빨간색 부분을 보면 GSM8K의 점수는 동일한 매개변수 척도의 대형 모델에 비해 상당히 높습니다. 새 용지에서는 점수가 크게 낮아져 거의 동일합니다. 같은 규모의 대형 모델입니다.

연구원들은 이들을 "GSM8k에 대한 교육을 받은 것으로 의심되거나 알려진"으로 분류했습니다.

이 테스트를 보고 어떤 사람들은 이전에 본 적이 없는 질문에 대한 평가를 시작해야 한다고 말했습니다.

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

어떤 사람들은 이러한 테스트와 모든 사람들의 실제 대형 모델 사용 경험이 현재 유일한 것이라고 생각합니다. 신뢰할 수 있는 평가 method

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

Musk Grok은 GPT-4에 이어 두 번째이며, 오픈 소스 Llemma는 우수한 결과를 가지고 있습니다.

테스터Keiran Paster는 토론토 대학의 박사 과정 학생이자 Google 학생 연구원이며, 저자 중 한 명은 테스트에서 대규모 Lemma 모델을 사용했습니다.

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

큰 모델이 헝가리 국립 고등학교 수학 최종 시험에 응시하게 하세요. 이 트릭은 Musk의 xAI에서 나온 것입니다.

xAI의 Grok 대형 모델이 실수로 네트워크 데이터에서 테스트 문제를 보는 문제를 해결하기 위해 몇 가지 일반적인 테스트 세트 외에도 이 테스트도 진행되었습니다.

이 시험은 현재 5월 말에야 완료되었습니다. , 대부분의 모델은 기본적으로 이러한 테스트 질문 세트를 본 적이 없습니다.

xAI는 비교를 위해 출시 당시 GPT-3.5, GPT-4, Claude 2의 결과도 발표했습니다.

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

이 데이터 세트를 기반으로 Paster는 추가 테스트를 수행했습니다. 테스트 대상은 강력한 수학적 생성 기능을 갖춘 여러 오픈 소스 모델

이며 각 모델의 테스트 질문, 테스트 스크립트 및 답변 결과는 모두 모든 사람이 다른 모델을 확인하고 추가 테스트할 수 있도록 Huggingface에 오픈 소스가 있습니다.

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

결과에 따르면 GPT-4와 Claude-2가 첫 번째 계층을 형성했으며 GSM8k와 새 논문에서 매우 높은 결과를 얻었습니다.

GPT-4와 Claude 2의 훈련 데이터에 GSM8k 유출 문제가 없다는 뜻은 아니지만, 적어도 그들은 일반화 능력이 좋고 새로운 문제를 올바르게 해결할 수 있으므로 상관하지 않습니다.

다음으로 Musk xAI의 Grok-0(33B) 및 Grok-1(미발표 매개변수 척도) 모두 좋은 성능을 보였습니다.

Grok-1은 "부정 행위를 하지 않는 그룹"에서 가장 높은 점수를 얻었으며, 새 논문 점수는 Claude 2보다 훨씬 높습니다.

GSM8k에서 Grok-0의 성능은 GPT3.5-Turbo에 가깝고 새 종이에서는 약간 더 나쁩니다.

위에서 언급한 폐쇄형 모델을 제외하고 테스트에 참여한 다른 모델은 모두 오픈 소스입니다.

Code Llama 시리즈는 Llama 2를 기반으로 한 Meta 자체 미세 조정으로, 자연어 기반 코드 생성에 중점을 두고 있으며, 지금 보세요 같은 규모의 모델보다 수학적 능력이 약간 떨어집니다.

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

Code Llama를 기반으로 많은 대학과 연구 기관이 공동으로 Llemma 시리즈를 출시했으며 EleutherAI에서 오픈 소스로 제공했습니다.

팀은 과학 논문, 수학이 포함된 네트워크 데이터 및 수학 코드에서 Proof-Pile-2 데이터 세트를 수집한 후 Llemma는 도구를 사용하고 추가 미세 조정 없이 공식적인 정리 증명을 수행할 수 있습니다.

새 논문에서 Llemma 34B의 성능은 GPT-3.5 Turbo 수준에 가깝습니다

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

Mistral 시리즈는 프랑스 AI 유니콘인 Mistral AI에 의해 훈련되었습니다. Apache2.0 오픈 소스 계약은 Llama보다 느슨하며 알파카 계열 다음으로 오픈 소스 커뮤니티에서 가장 인기 있는 기본 모델이 되었습니다.

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

"과적합 그룹" OpenChat 3.5MetaMath Mistral은 모두 Mistral 생태계를 기반으로 미세 조정되었습니다.

MetaMathMAmmoTH Code는 Code Llama 생태계를 기반으로 합니다.

실제 비즈니스에서 대규모 오픈소스 모델을 채택하는 사람들은 이 그룹을 피하는 데 주의해야 합니다. 왜냐하면 단지 순위를 얻기 위해 좋은 성과를 낼 가능성이 높지만 실제 역량은 동급의 다른 모델만큼 강력하지 않을 수 있기 때문입니다. scale

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

No 많은 네티즌들은 이 실험에 대해 Paster에게 감사를 표시했으며 이것이 바로 모델의 실제 상황을 이해하는 데 필요한 것이라고 믿었습니다.

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

일부 사람들은 다음과 같이 우려를 표시했습니다.

오늘부터 대형 모델을 교육하는 모든 사람은 이전 연도의 헝가리어 수학 시험 문제를 포함하게 됩니다.

동시에, 그는 독점 테스트를 갖춘 전문 대형 모델 평가 회사를 갖는 것이 해결책이 될 수 있다고 믿습니다.

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

또 다른 제안은 과적합 문제를 완화하기 위해 매년 업데이트되는 테스트 벤치마크를 설정하는 것입니다.

대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 악마 거울

위 내용은 대규모 부정 행위 모델을 구별하는 비결 중 하나, 의사 동생의 오픈 소스 AI 수학 '악마 거울'의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Centos HDFS 구성을 확인하는 방법 Centos HDFS 구성을 확인하는 방법 Apr 14, 2025 pm 07:21 PM

CentOS 시스템에서 HDFS 구성 확인에 대한 완전한 안내서이 기사에서는 CentOS 시스템에서 HDF의 구성 및 실행 상태를 효과적으로 확인하는 방법을 안내합니다. 다음 단계는 HDF의 설정 및 작동을 완전히 이해하는 데 도움이됩니다. Hadoop 환경 변수 확인 : 먼저 Hadoop 환경 변수가 올바르게 설정되어 있는지 확인하십시오. 터미널에서 다음 명령을 실행하여 Hadoop이 올바르게 설치되고 구성되었는지 확인하십시오. Hadoopversion Check HDFS 구성 파일 : HDFS의 Core 구성 파일은/etc/hadoop/conf/directory에 있으며 Core-Site.xml 및 HDFS-Site.xml이 중요합니다. 사용

Centos Shutdown 명령 줄 Centos Shutdown 명령 줄 Apr 14, 2025 pm 09:12 PM

CentOS 종료 명령은 종료이며 구문은 종료 [옵션] 시간 [정보]입니다. 옵션은 다음과 같습니다. -H 시스템 중지 즉시 옵션; -P 종료 후 전원을 끕니다. -R 다시 시작; -대기 시간. 시간은 즉시 (현재), 분 (분) 또는 특정 시간 (HH : MM)으로 지정할 수 있습니다. 추가 정보는 시스템 메시지에 표시 될 수 있습니다.

Centos 설치 MySQL Centos 설치 MySQL Apr 14, 2025 pm 08:09 PM

Centos에 MySQL을 설치하려면 다음 단계가 필요합니다. 적절한 MySQL Yum 소스 추가. mysql 서버를 설치하려면 yum install mysql-server 명령을 실행하십시오. mysql_secure_installation 명령을 사용하여 루트 사용자 비밀번호 설정과 같은 보안 설정을 작성하십시오. 필요에 따라 MySQL 구성 파일을 사용자 정의하십시오. MySQL 매개 변수를 조정하고 성능을 위해 데이터베이스를 최적화하십시오.

Docker 원리에 대한 자세한 설명 Docker 원리에 대한 자세한 설명 Apr 14, 2025 pm 11:57 PM

Docker는 Linux 커널 기능을 사용하여 효율적이고 고립 된 응용 프로그램 실행 환경을 제공합니다. 작동 원리는 다음과 같습니다. 1. 거울은 읽기 전용 템플릿으로 사용되며, 여기에는 응용 프로그램을 실행하는 데 필요한 모든 것을 포함합니다. 2. Union 파일 시스템 (Unionfs)은 여러 파일 시스템을 스택하고 차이점 만 저장하고 공간을 절약하고 속도를 높입니다. 3. 데몬은 거울과 컨테이너를 관리하고 클라이언트는 상호 작용을 위해 사용합니다. 4. 네임 스페이스 및 CGroup은 컨테이너 격리 및 자원 제한을 구현합니다. 5. 다중 네트워크 모드는 컨테이너 상호 연결을 지원합니다. 이러한 핵심 개념을 이해 함으로써만 Docker를 더 잘 활용할 수 있습니다.

Centos에서 Pytorch 버전을 선택하는 방법 Centos에서 Pytorch 버전을 선택하는 방법 Apr 14, 2025 pm 06:51 PM

CentOS 시스템에 Pytorch를 설치할 때는 적절한 버전을 신중하게 선택하고 다음 주요 요소를 고려해야합니다. 1. 시스템 환경 호환성 : 운영 체제 : CentOS7 이상을 사용하는 것이 좋습니다. Cuda 및 Cudnn : Pytorch 버전 및 Cuda 버전은 밀접하게 관련되어 있습니다. 예를 들어, pytorch1.9.0은 cuda11.1을 필요로하고 Pytorch2.0.1은 cuda11.3을 필요로합니다. CUDNN 버전도 CUDA 버전과 일치해야합니다. Pytorch 버전을 선택하기 전에 호환 CUDA 및 CUDNN 버전이 설치되었는지 확인하십시오. 파이썬 버전 : Pytorch 공식 지점

VSCODE 용 헤더 파일을 정의하는 방법 VSCODE 용 헤더 파일을 정의하는 방법 Apr 15, 2025 pm 09:09 PM

Visual Studio 코드를 사용하여 헤더 파일을 정의하는 방법은 무엇입니까? .h 또는 .hpp 접미사 이름 (예 : 클래스, 함수, 변수)을 사용하여 헤더 파일을 만들고 기호를 선언합니다. 소스 파일에 헤더 파일을 포함시키기 위해 #include 지시문을 사용하여 프로그램을 컴파일합니다. 헤더 파일이 포함되어 있고 선언 된 기호를 사용할 수 있습니다.

CentOS8은 ssh를 다시 시작합니다 CentOS8은 ssh를 다시 시작합니다 Apr 14, 2025 pm 09:00 PM

SSH 서비스를 다시 시작하라는 명령은 SystemCTL SSHD를 다시 시작합니다. 자세한 단계 : 1. 터미널에 액세스하고 서버에 연결; 2. 명령을 입력하십시오 : SystemCTL SSHD 재시작; 3. 서비스 상태를 확인하십시오 : SystemCTL 상태 SSHD.

Docker는 Yaml을 사용합니다 Docker는 Yaml을 사용합니다 Apr 15, 2025 am 07:21 AM

Yaml은 Docker의 컨테이너, 이미지 및 서비스를 구성하는 데 사용됩니다. 구성하려면 : 컨테이너의 경우 Docker-Compose.yml에 이름, 이미지, 포트 및 환경 변수를 지정하십시오. 이미지의 경우 기본 이미지, 빌드 명령 및 기본 명령이 DockerFile에 제공됩니다. 서비스의 경우 Docker-Compose.service.yml에 이름, 미러, 포트, 볼륨 및 환경 변수를 설정하십시오.

See all articles