LLaMA를 이길까요? 역사상 가장 강력한 'Falcon'의 순위는 의심스럽습니다. Fu Yao는 7줄의 코드를 직접 테스트했으며 LeCun은 이를 좋아요에 전달했습니다.

얼마 전, 갓 태어난 Falcon이 LLM 순위에서 LLaMA를 무너뜨려 커뮤니티 전체에 파장을 일으켰습니다.

그런데 Falcon이 LLaMA보다 정말 나은가요?

짧은 답변: 아마도 그렇지 않을 것입니다.

Fu Yao 팀은 모델에 대해 더욱 심층적인 평가를 내렸습니다.

"MMLU에서 LLaMA 65B의 평가를 재현했으며 공식 점수에 가까운 61.4점을 받았습니다. (63.4). Open LLM 순위표(48.8)보다 훨씬 높으며 Falcon(52.7)보다 훨씬 높습니다. "

멋진 프롬프트 엔지니어링도, 멋진 디코딩도 없으며 모든 것이 기본 설정입니다.

현재 코드와 테스트 방법이 Github에 공개되어 있습니다.

Falcon이 LLaMA를 능가한다는 의구심이 있는데, LeCun이 자신의 입장을 밝혔고, 테스트 스크립트의 문제점...

LLaMA의 진정한 강점

현재 OpenLLM 순위에서는 Falcon이 LLaMA를 제치고 1위를 기록하고 있으며, Thomas Wolf를 포함한 연구자들이 적극 권장합니다.

그러나 일부 사람들은 의심을 품습니다.

먼저 한 네티즌이 LLaMA 번호가 어디서 왔는지 질문했습니다. 논문 번호와 일치하지 않는 것 같았습니다...

나중에 OpenAI 과학자 Andrej Karpathy도 LLaMA 65B가 Open LLM 순위에 있는 이유에 대해 질문했습니다. 점수는 공식(48.8 vs. 63.4)보다 현저히 낮아 우려를 표했다.

그리고 게시하면서 지금까지 나는 이 때문에 Falcons에 대한 트윗을 피했습니다. 확실하지 않습니다.

이 문제를 명확히하기 위해 Fu Yao와 팀원들은 LLaMA 65B에 대한 공개 테스트를 실시하기로 결정했으며 결과는 61.4 점이었습니다.

테스트에서 연구진은 특별한 메커니즘을 사용하지 않았으며 LLaMA 65B가 이 점수를 달성할 수 있었습니다.

이 결과는 모델이 GPT-3.5에 가까운 수준을 달성하려면 LLaMA 65B에서 RLHF를 사용하는 것이 가장 좋다는 것을 증명합니다.

Fu Yao 팀이 최근 발표한 사고 사슬 허브 논문의 결과를 바탕으로 합니다.

물론 Fu Yao는 그들의 평가가 LLaMA와 Falcon 사이에 논쟁을 일으키려는 의도가 아니라고 말했습니다. 결국 이들은 훌륭한 오픈 소스 모델이며 이 분야에 상당한 기여를 했습니다!

또한 Falcon은 더욱 편리한 라이선스를 보유하고 있어 개발 잠재력도 뛰어납니다.

이 최신 리뷰에서 네티즌 BlancheMinerva는 기본 설정 하에 MMLU에서 Falcon을 실행하는 것이 공정한 비교라고 지적했습니다.

이에 대해 Fu Yao는 이것이 정확하며 작업 중이며 결과는 하루 안에 나올 것으로 예상됩니다.

최종 결과가 어떻든 GPT-4의 산은 오픈소스 커뮤니티가 진정으로 추구하고 싶은 목표라는 점을 아셔야 합니다.

OpenLLM 순위 문제

Meta의 연구원들은 Fu Yao가 LLaMa의 결과를 잘 재현했다고 칭찬하며 OpenLLM 순위의 문제점을 지적했습니다.

동시에 OpenLLM 순위에 대한 몇 가지 질문도 공유했습니다.

먼저 MMLU 결과: LLaMa 65B MMLU 결과는 리더보드에서 15점이지만 7B 모델에서도 동일합니다. 13B와 30B 모델 사이에도 약간의 성능 차이가 있습니다.

OpenLLM은 어떤 모델이 가장 좋은지 발표하기 전에 이 점을 정말 살펴봐야 합니다.

벤치마크: 이러한 벤치마크는 어떻게 선택되나요?

ARC 25 샷과 Hellaswag 10 샷은 LLM과 특별히 관련이 없는 것 같습니다. 일부 생성 벤치마크를 포함할 수 있다면 더욱 좋을 것입니다. 생성적 벤치마크에는 한계가 있지만 여전히 유용할 수 있습니다.

단일 평균 점수: 결과를 단일 점수로 줄이는 것은 항상 유혹적이며 평균 점수가 가장 쉽습니다.

그런데 이 경우 4개 벤치마크의 평균이 정말 유용할까요? MMLU에서 1점을 얻는 것은 HellaSwag에서 1점을 얻는 것과 동일합니까?

LLM이 빠르게 반복되는 세계에서는 이러한 순위 목록을 개발하는 데 확실히 가치가 있습니다.

그리고 Google의 연구원인 Lucas Beyer도 자신의 의견을 밝혔습니다.

놀라운 점은 NLP 연구원들이 동일한 벤치마크에 대해 서로 다른 이해를 갖고 있어 완전히 다른 결과가 나온다는 것입니다. 동시에, 동료 중 한 명이 측정항목을 구현할 때마다 공식 코드가 완벽하게 재현되었는지 실제로 확인했는지 즉시 물어보고, 그렇지 않은 경우 결과를 폐기합니다.

그리고 제가 아는 한, 모델에 상관없이 원래 벤치마크 결과를 실제로 재현하지는 못할 거라고 하더군요.

네티즌들은 이것이 LLM 벤치마크의 현실이라고 반향했습니다...

Falcon - 오픈 소스, 상업적으로 이용 가능, 강력한 성능

Falcon에 대해 말하면 실제로 리뷰할 가치가 있습니다. .

르쿤에 따르면 대형 모델 시대에는 오픈소스가 가장 중요하다고 합니다.

Meta의 LLaMA 코드가 유출된 후 각계각층의 개발자들이 이를 시도하고 싶어하기 시작했습니다.

팔콘은 아랍에미리트 아부다비에 있는 기술 혁신 연구소(TII)에서 개발한 놀라운 무기입니다.

처음 출시되었을 때 성능 면에서는 Falcon이 LLaMA보다 더 나은 성능을 보였습니다.

현재 "Falcon"에는 1B, 7B, 40B의 세 가지 버전이 있습니다.

TII는 Falcon이 현재까지 가장 강력한 오픈 소스 언어 모델이라고 말했습니다. 가장 큰 버전인 Falcon 40B에는 400억 개의 매개변수가 있는데, 이는 650억 개의 매개변수가 있는 LLaMA보다 여전히 규모가 약간 작습니다.

그러나 TII는 이전에 Falcon이 작은 크기에도 불구하고 뛰어난 성능을 발휘한다고 밝혔습니다.

ATRC(첨단 기술 연구 위원회) 사무총장인 Faisal Al Bannai는 “Falcon”의 출시가 LLM의 인수 방식을 깨고 연구원과 기업가가 가장 혁신적인 사용 사례를 제안할 수 있게 해줄 것이라고 믿습니다.

FalconLM의 두 가지 버전인 Falcon 40B Instruct와 Falcon 40B는 Hugging Face OpenLLM 순위에서 상위 2위에 올랐으며 Meta의 LLaMA는 3위를 차지했습니다.

위에서 언급한 순위의 문제는 바로 이것이다.

"Falcon" 논문은 아직 공개되지 않았지만 Falcon 40B는 신중하게 선별된 1조 개의 토큰 네트워크 데이터 세트에 대해 광범위하게 교육을 받았습니다.

연구원들은 "Falcon"이 훈련 과정에서 대규모 데이터에 대해 높은 성능을 달성하는 것의 중요성을 매우 중요하게 여긴다고 밝혔습니다.

우리 모두 알고 있는 것은 LLM이 훈련 데이터의 품질에 매우 민감하다는 것입니다. 이것이 바로 연구자들이 수만 개의 CPU 코어에서 효율적인 처리를 수행할 수 있는 데이터 파이프라인을 구축하는 데 많은 노력을 기울이는 이유입니다.

필터링 및 중복 제거를 기반으로 인터넷에서 고품질 콘텐츠를 추출하는 것이 목적입니다.

현재 TII는 세심하게 필터링되고 중복이 제거된 데이터 세트인 세련된 네트워크 데이터 세트를 출시했습니다. 연습을 통해 그것이 매우 효과적이라는 것이 입증되었습니다.

이 데이터 세트만 사용하여 학습된 모델은 다른 LLM과 동등하거나 성능 면에서 이를 능가할 수도 있습니다. 이는 "Falcon"의 뛰어난 품질과 영향력을 입증합니다.

또한 Falcon 모델에는 다국어 기능도 있습니다.

영어, 독일어, 스페인어, 프랑스어를 이해하며 네덜란드어, 이탈리아어, 루마니아어, 포르투갈어, 체코어, 폴란드어, 스웨덴어와 같은 일부 소규모 유럽 언어도 많이 알고 있습니다.

Falcon 40B는 H2O.ai 모델 출시 이후 두 번째 진정한 오픈 소스 모델이기도 합니다.

또한 매우 중요한 점이 또 하나 있습니다. Falcon은 현재 무료로 상업적으로 사용할 수 있는 유일한 오픈 소스 모델입니다.

초창기 TII에서는 Falcon을 상업적 목적으로 사용하고 귀속 소득이 100만 달러 이상인 경우 10%의 "사용세"가 부과되도록 요구했습니다.

그러나 부유한 중동의 재벌들이 이러한 제한을 해제하는 데는 오랜 시간이 걸리지 않았습니다.

적어도 현재로서는 Falcon의 모든 상업적 사용과 미세 조정이 무료입니다.

부자들은 당분간 이 모델로 돈을 벌 필요가 없다고 하더군요.

또한 TII는 전 세계에서 상용화 계획을 모집하고 있습니다.

잠재적인 과학 연구 및 상용화 솔루션을 위해 더 많은 "컴퓨팅 능력 교육 지원"을 제공하거나 추가 상용화 기회를 제공할 것입니다.

간단히 말하면: 프로젝트가 좋으면 모델은 무료입니다! 컴퓨팅 파워는 충분합니다! 돈이 충분하지 않은 경우에도 저희가 모아드릴 수 있습니다!

스타트업에게 이것은 단순히 중동 재벌의 "AI 대형 모델 창업을 위한 원스톱 솔루션"입니다.

개발팀에 따르면 FalconLM의 경쟁 우위의 중요한 측면은 훈련 데이터 선택입니다.

연구팀은 공개 크롤링된 데이터 세트에서 고품질 데이터를 추출하고 중복 데이터를 제거하는 프로세스를 개발했습니다.

중복되고 중복된 콘텐츠를 철저히 정리한 후 5조 개의 토큰이 유지되었습니다. 이는 강력한 언어 모델을 훈련하기에 충분합니다.

40B Falcon LM은 훈련에 1조 개의 토큰을 사용하며, 모델 훈련 토큰의 7B 버전은 1.5조에 이릅니다.

( 연구팀의 목표는 RefinedWeb 데이터 세트를 사용하여 Common Crawl에서 최고 품질의 원시 데이터만 필터링하는 것입니다.)

또한 Falcon의 훈련 비용은 상대적으로 더 통제 가능합니다.

TII는 GPT-3에 비해 Falcon은 훈련 컴퓨팅 예산의 75%만 사용하면서 상당한 성능 향상을 달성했다고 밝혔습니다.

그리고 추론 중에는 컴퓨팅 시간이 20%만 필요하여 컴퓨팅 리소스의 효율적인 활용을 성공적으로 달성합니다.

위 내용은 LLaMA를 이길까요? 역사상 가장 강력한 'Falcon'의 순위는 의심스럽습니다. Fu Yao는 7줄의 코드를 직접 테스트했으며 LeCun은 이를 좋아요에 전달했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!