


소비자 등급 그래픽 카드를 사용할 수 있습니다! Li Kaifu는 역사상 가장 강력한 코드 수학적 능력을 갖춘 90억 개의 매개변수 Yi 모델을 출시하고 오픈소스화했습니다.
Kai-Fu Lee의 AI 회사인 Zero One에는 또 다른 대형 모델 플레이어가 있습니다:
90억 매개변수 Yi-9B.
이 시리즈에서는 "과학 챔피언"으로 알려져 있습니다. 종합 능력에서 뒤처지지 않고 코드 수학을 "보충"합니다.
비슷한 규모(Mistral-7B, SOLAR-10.7B, Gemma-7B, DeepSeek-Coder-7B-Base-v1.5 등 포함)의 일련의 오픈 소스 모델 중에서 최고의 성능을 발휘합니다 .
오래된 규칙, 릴리스는 오픈 소스입니다. 특히 개발자에게 친숙합니다:
Yi-9B(BF 16) 및 양자화 버전 Yi-9B(Int8)는 소비자급 그래픽 카드에 배포할 수 있습니다.
RTX 4090이나 RTX 3090이면 충분합니다.
심층 증폭 + 다단계 증분 훈련
Zero One Thousand Things의 Yi 제품군은 이전에 Yi-6B 및 Yi-34B 시리즈를 출시했습니다.
둘 다 3.1T 토큰 중국어 및 영어 데이터로 사전 학습되었으며, Yi-9B는 이를 기반으로 0.8T 토큰을 추가하여 학습되었습니다.
데이터 마감일은 2023년 6월입니다.
Yi-9B의 가장 큰 발전은 수학과 코딩에 있다고 처음에 언급했는데, 이 두 가지 능력을 어떻게 향상시킬 수 있을까요?
Zero One Thousand Things 소개:
데이터 양을 늘리는 것만으로는 기대에 미치지 못합니다.
먼저 모델 크기를 Yi-6B를 기반으로 9B로 늘린 다음 다단계 데이터 증분 학습 을 수행합니다.
우선, 모델 크기를 늘리는 방법은 무엇입니까?
한 가지 전제는 분석을 통해 팀이 발견했다는 것입니다.
Yi-6B는 완전히 훈련되었으며 토큰을 아무리 추가해도 훈련 효과가 향상되지 않을 수 있으므로 규모를 확장하는 것이 고려됩니다. (아래 사진의 단위는 TB가 아니라 B입니다)
어떻게 늘리나요? 정답은 심층 증폭입니다.
Zero One Thousand Things 소개:
원래 모델의 너비를 확장하면 더 많은 성능 손실이 발생합니다. 적합한 레이어를 선택하여 모델을 깊이 증폭한 후에는 새 레이어의 입력/출력 코사인이 1.0에 가까워집니다. 즉, 증폭된 모델 성능이 원래 모델의 성능을 유지할 수 있을수록 모델 성능 손실은 작아집니다.
이 아이디어에 따라 Zero Yiwu는 Yi-6B의 상대적으로 뒤쪽에 있는 16개 층(12-28개 층)을 복사하여 48개 층의 Yi-9B를 형성하기로 결정했습니다.
실험에 따르면 Solar-10.7B 모델을 사용하여 중간 16개 레이어(8~24개 레이어)를 복사하는 것보다 이 방법이 더 나은 성능을 발휘하는 것으로 나타났습니다.
둘째, 다단계 훈련 방법은 무엇인가요?
답은 먼저 텍스트와 코드가 포함된 0.4T 데이터를 추가하는 것이지만, 데이터 비율은 Yi-6B와 같습니다.
그런 다음 0.4T의 데이터를 추가하세요. 여기에는 텍스트와 코드도 포함되지만 코드와 수학 데이터의 비율을 높이는 데 중점을 둡니다.
(알고 있듯이 대형 모델에 대해 질문할 때 "단계적으로 생각"하는 트릭과 동일합니다)
이 두 단계가 완료된 후에도 팀은 여전히 두 개의 논문을 참조합니다 (An Empirical Model of Large- 배치 훈련 및 학습률 저하 방지, 배치 크기 증가) 및 매개변수 조정 방법을 최적화했습니다.
즉, 고정된 학습률에서 시작하여 모델 손실이 감소를 멈출 때마다 감소가 중단되지 않고 모델이 더 완벽하게 학습할 수 있도록 배치 크기가 늘어납니다.
결국 Yi-9B에는 실제로 총 88억 개의 매개변수가 포함되어 4k 컨텍스트 길이에 도달했습니다.
Yi 시리즈는 가장 강력한 코딩 및 수학적 능력을 가지고 있습니다
실제 테스트에서 Zero Yiwu는 탐욕스러운 디코딩 생성 방법(즉, 매번 확률 값이 가장 높은 단어를 선택하는 방법)을 사용하여 테스트했습니다.
참여 모델은 DeepSeek-Coder, DeepSeek-Math, Mistral-7B, SOLAR-10.7B 및 Gemma-7B입니다.
(1)DeepSeek-Coder, 국내 심층 검색 회사의 33B 지침 튜닝 버전에 대한 인간의 평가는 GPT-3.5-turbo를 초과하며 7B 버전의 성능은 CodeLlama-34B의 성능에 도달할 수 있습니다.
DeepSeek-Math는 7B 매개변수를 사용하여 GPT-4를 뒤집으며 전체 오픈 소스 커뮤니티에 충격을 주었습니다.
(2)SOLAR-10.7B2023년 12월에 탄생한 대한민국의 Upstage AI는 성능 면에서 Mixtral-8x7B-Instruct를 능가합니다.
(3)Mistral-7B은 최초의 오픈 소스 MoE 대형 모델로 Llama 2 70B 및 GPT-3.5 수준에 도달하거나 심지어 능가합니다.
(4)Gemma-7BGoogle에서 Zero One Wanwu는 다음과 같이 지적했습니다.
유효 매개변수의 양은 실제로 Yi-9B와 동일한 수준입니다.
(둘의 작명 기준이 다릅니다. 전자는 Non-Embedding 매개변수만 사용하고, 후자는 모든 매개변수를 사용하여 반올림합니다.)
결과는 다음과 같습니다.
일단 코딩 작업 측면에서는 Yi-9B의 성능이 DeepSeek-Coder-7B에 이어 2위이고, 나머지 4개는 모두 KO입니다.
수학적 능력 면에서 Yi-9B의 성능은 DeepSeek-Math-7B에 이어 두 번째로 다른 4개를 능가합니다.
전체적인 실력도 나쁘지 않습니다.
비슷한 크기의 오픈소스 모델 중 성능이 가장 뛰어나며, 다른 5개 플레이어를 모두 능가합니다.
마지막으로 상식과 추론 능력이 테스트되었습니다.
결과는 Yi-9B가 Mistral-7B, SOLAR-10.7B 및 Gemma-7B와 동등하다는 것입니다.
그리고 언어 능력은 영어뿐만 아니라 중국어도 널리 호평을 받고 있습니다.
마지막으로 이 글을 읽은 일부 네티즌들은 다음과 같이 말했습니다: 빨리 해보고 싶어요.
DeepSeek에 대해 걱정하는 사람들도 있습니다.
어서 '게임'을 강화하세요. 완전한 지배력이 사라졌습니다==
포털은 여기입니다: https://huggingface.co/01-ai/Yi-9B
위 내용은 소비자 등급 그래픽 카드를 사용할 수 있습니다! Li Kaifu는 역사상 가장 강력한 코드 수학적 능력을 갖춘 90억 개의 매개변수 Yi 모델을 출시하고 오픈소스화했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











0. 이 글은 어떤 내용을 담고 있나요? 우리는 다재다능하고 빠른 최첨단 생성 단안 깊이 추정 모델인 DepthFM을 제안합니다. DepthFM은 전통적인 깊이 추정 작업 외에도 깊이 인페인팅과 같은 다운스트림 작업에서 최첨단 기능을 보여줍니다. DepthFM은 효율적이며 몇 가지 추론 단계 내에서 깊이 맵을 합성할 수 있습니다. 이 작품을 함께 읽어보아요~ 1. 논문 정보 제목: DepthFM: FastMoncularDepthEstimationwithFlowMatching 저자: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

지연이 발생하고 iPhone의 모바일 데이터 연결 속도가 느립니까? 일반적으로 휴대폰의 셀룰러 인터넷 강도는 지역, 셀룰러 네트워크 유형, 로밍 유형 등과 같은 여러 요소에 따라 달라집니다. 더 빠르고 안정적인 셀룰러 인터넷 연결을 얻기 위해 할 수 있는 일이 몇 가지 있습니다. 수정 1 – iPhone 강제 다시 시작 때로는 장치를 강제로 다시 시작하면 셀룰러 연결을 포함한 많은 항목이 재설정됩니다. 1단계 – 볼륨 높이기 키를 한 번 눌렀다가 놓습니다. 그런 다음 볼륨 작게 키를 눌렀다가 다시 놓습니다. 2단계 - 프로세스의 다음 부분은 오른쪽에 있는 버튼을 누르는 것입니다. iPhone이 다시 시작되도록 하세요. 셀룰러 데이터를 활성화하고 네트워크 속도를 확인하세요. 다시 확인하세요 수정 2 – 데이터 모드 변경 5G는 더 나은 네트워크 속도를 제공하지만 신호가 약할 때 더 잘 작동합니다

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라
