OpenAI가 새로운 오픈소스 대형 모델을 출시할 것이라는 사실이 밝혀졌습니다. 네티즌: GPT 대체?
OpenAI가 드디어 “오픈”되었습니다!
최신 소식은 새로운 오픈 소스 언어 모델 출시를 준비하고 있다는 것입니다.
GPT-2 이후 4년 만에 처음 있는 일입니다.
많은 네티즌들이 손을 내밀어 기대감을 표현했습니다. 과연 자신들만의 오픈소스 대체품을 출시할 것인가?
결국 현재 최고의 오픈소스 모델은 아직 GPT-4와는 거리가 멀습니다. 매개변수만 놓고 보면 둘 사이의 차이는 3배에 달합니다. 하나는 200억이고 다른 하나는 1조 3천억입니다.
OpenAI가 오픈됩니다
이 경우 OpenAI의 행보는 "대형 모델 전체의 경쟁 구도를 바꿀 것인가?"입니다.
많은 네티즌들은 가장 먼저 가장 큰 타격을 입은 사람은 LLaMA 대형 모델인 알파카 가족일지도 모른다고 말했습니다.
결국 ChatGPT 탄생 이후 다양한 오픈소스 솔루션이 끝없이 등장했지만 대부분은 Meta의 대형 모델에서 영감을 받았습니다.
예를 들어 Stanford의 Alpaca, Berkeley의 Vicuna, Kaola, ColossalChat은 물론 중국 의학 지식을 바탕으로 한 중국 Harbin Institute of Technology의 LLaMA 미세 조정 모델 Huatuo... 이러한 오픈 소스 모델 중 일부는 심지어 모바일 장치에서 실행되도록 최적화되었습니다.
UC Berkeley가 만든 대형 모델 Chatbot Arena의 최신 순위를 보면 많은 오픈 소스 모델이 GPT-4와 Claude를 따르는 것으로 나타났습니다.
하지만 "대체"가 될지는 최종 출시 전까지 알 수 없습니다.
OpenAI가 이 모델을 사용하여 다른 유사한 오픈 소스 모델과 경쟁할지 여부도 불분명합니다.
The Information에 따르면 이 문제에 정통한 사람들의 말을 인용하면 이 새로운 오픈 소스 모델이 GPT와 경쟁할 가능성이 거의 없을 것이 확실합니다.
동시에 누군가 Google이라는 이름을 붙이고 있습니다. 이제 Google에 대한 압력이 커지고 있습니다.
오픈 소스와 해자에 대해서도 열띤 토론이 촉발되었습니다.
오픈 소스 및 해자
오픈 소스 또는 폐쇄 소스?
얼마 전 Google 내부 문서가 인터넷을 뒤흔들었습니다. 핵심은 매우 분명합니다.
대규모 오픈 소스 모델의 급속한 발전이 OpenAI와 Google의 입지를 잠식하고 있습니다.
그리고 "클로즈드 소스에 대한 입장이 바뀌지 않는 한, 오픈 소스 대안이 결국 이를 압도할 것입니다(ChatGPT 포함)."라고 말했습니다.
현재로서는 Google이나 OpenAI 모두 이 대규모 모델 군비 경쟁에 해자가 없습니다.
저전력 장치에서의 실행, 확장 가능한 개인 AI, 다중 양식 등 많은 오픈 소스 문제가 해결되었습니다.
이제 OpenAI와 Google이 모델 품질 면에서 어느 정도 우위를 점하고 있음에도 불구하고 이 격차는 빠르게 줄어들고 있습니다.
지난 몇 주 동안 오픈 소스 AI 분야의 모든 팀은 모델이나 애플리케이션 측면에서 지속적인 발전을 이루었습니다.
예를 들어 AI 스타트업 투게더(Together)는 지난달 LLaMA를 기반으로 오픈소스 대형 모델과 클라우드 플랫폼을 구축하고 현재 2천만 달러의 시드 라운드 펀딩을 유치했습니다.
이러한 추세는 오프라인에서도 이어져 많은 사람들이 오픈소스 운동을 즐기고 축하하고 있습니다.
'오픈소스센터' 허깅페이스에서는 대형 모델툴 시리즈 출시와 더불어 오프라인 'AI의 우드스톡' 모임도 열어 5,000명이 넘는 인원이 모였다.
Stable Diffusion을 개발한 Stability AI와 PyTorch Lightning을 개발한 Lightning AI도 오픈소스 교류회를 개최할 예정입니다.
많은 사람들의 눈에 OpenAI와 Google은 나쁜 선례를 남겼습니다. 모니터링되지 않는 모델의 위험은 현실입니다.
이러한 대형 기술 회사의 모델이 완전히 복제 가능하지는 않지만 오픈 소스 커뮤니티는 이러한 "비밀 레시피"의 기본 성분을 이해합니다. 하지만 이제 그 성분을 아는 사람은 아무도 없습니다.
이 문제에 대해 어떻게 생각하시나요?
참조 링크:
[1]https://www.reuters.com/technology/openai-readies-new-open-source-ai-model-information-2023-05-15/
[2]https:/ /www.theinformation.com/articles/open-source-ai-is-gaining-on-google-and-chatgpt
[3]https://venturebeat.com/ai/open-source-ai-continues-to- 해자 위의 거대 기술을 기념하다/
위 내용은 OpenAI가 새로운 오픈소스 대형 모델을 출시할 것이라는 사실이 밝혀졌습니다. 네티즌: GPT 대체?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7489
15
1377
52
77
11
52
19
19
41
세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다.
May 07, 2024 pm 04:13 PM
기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.
MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다.
Jun 01, 2024 pm 10:03 PM
이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은
공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것!
May 06, 2024 pm 04:13 PM
테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라
FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘
Apr 26, 2024 am 11:37 AM
표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.
OpenAI Super Alignment Team의 사후 작업: 두 개의 대형 모델이 게임을 하고 출력이 더 이해하기 쉬워졌습니다.
Jul 19, 2024 am 01:29 AM
AI 모델이 내놓은 답변이 전혀 이해하기 어렵다면 감히 사용해 보시겠습니까? 기계 학습 시스템이 더 중요한 영역에서 사용됨에 따라 우리가 그 결과를 신뢰할 수 있는 이유와 신뢰할 수 없는 경우를 보여주는 것이 점점 더 중요해지고 있습니다. 복잡한 시스템의 출력에 대한 신뢰를 얻는 한 가지 가능한 방법은 시스템이 인간이나 다른 신뢰할 수 있는 시스템이 읽을 수 있는 출력 해석을 생성하도록 요구하는 것입니다. 즉, 가능한 오류가 발생할 수 있는 지점까지 완전히 이해할 수 있습니다. 설립하다. 예를 들어, 사법 시스템에 대한 신뢰를 구축하기 위해 우리는 법원이 자신의 결정을 설명하고 뒷받침하는 명확하고 읽기 쉬운 서면 의견을 제공하도록 요구합니다. 대규모 언어 모델의 경우 유사한 접근 방식을 채택할 수도 있습니다. 그러나 이 접근 방식을 사용할 때는 언어 모델이 다음을 생성하는지 확인하세요.
단일 카드는 듀얼 카드보다 Llama를 70B 더 빠르게 실행합니다. Microsoft는 A100에 FP6을 넣었습니다 |
Apr 29, 2024 pm 04:55 PM
FP8 이하의 부동 소수점 수량화 정밀도는 더 이상 H100의 "특허"가 아닙니다! Lao Huang은 모든 사람이 INT8/INT4를 사용하기를 원했고 Microsoft DeepSpeed 팀은 NVIDIA의 공식 지원 없이 A100에서 FP6을 실행하기 시작했습니다. 테스트 결과에 따르면 A100에 대한 새로운 방법 TC-FPx의 FP6 양자화는 INT4에 가깝거나 때로는 더 빠르며 후자보다 정확도가 더 높은 것으로 나타났습니다. 또한 오픈 소스로 제공되고 DeepSpeed와 같은 딥 러닝 추론 프레임워크에 통합된 엔드투엔드 대규모 모델 지원도 있습니다. 이 결과는 대형 모델 가속화에도 즉각적인 영향을 미칩니다. 이 프레임워크에서는 단일 카드를 사용하여 Llama를 실행하면 처리량이 듀얼 카드보다 2.65배 더 높습니다. 하나
옥스포드 대학의 최신 소식! 미키: 3D SOTA로 2D 이미지 매칭! (CVPR\'24)
Apr 23, 2024 pm 01:20 PM
앞에 적힌 프로젝트 링크: https://nianticlabs.github.io/mickey/ 두 장의 사진이 주어지면 사진 간의 대응 관계를 설정하여 두 장의 사진 사이의 카메라 포즈를 추정할 수 있습니다. 일반적으로 이러한 대응은 2D에서 2D로 이루어지며 추정된 포즈는 규모에 따라 결정되지 않습니다. 언제 어디서나 즉각적인 증강 현실과 같은 일부 애플리케이션은 규모 측정항목의 포즈 추정이 필요하므로 규모를 복구하기 위해 외부 깊이 추정기에 의존합니다. 본 논문에서는 3차원 카메라 공간에서 메트릭 일치성을 예측할 수 있는 키포인트 매칭 프로세스인 MicKey를 제안합니다. 이미지 전반에 걸쳐 3D 좌표 매칭을 학습함으로써 측정 기준을 추론할 수 있습니다.
OpenAI 데이터가 필요하지 않습니다. 대규모 코드 모델 목록에 참여하세요! UIUC, StarCoder-15B-Instruct 출시
Jun 13, 2024 pm 01:59 PM
소프트웨어 기술의 선두에 있는 UIUC Zhang Lingming 그룹은 BigCode 조직의 연구원들과 함께 최근 StarCoder2-15B-Instruct 대규모 코드 모델을 발표했습니다. 이 혁신적인 성과는 코드 생성 작업에서 획기적인 발전을 이루었으며 CodeLlama-70B-Instruct를 성공적으로 능가하고 코드 생성 성능 목록의 최상위에 올랐습니다. StarCoder2-15B-Instruct의 독창성은 순수한 자체 정렬 전략에 있습니다. 전체 훈련 프로세스는 개방적이고 투명하며 완전히 자율적이고 제어 가능합니다. 이 모델은 값비싼 수동 주석에 의존하지 않고 StarCoder-15B 기본 모델을 미세 조정한 것에 대한 응답으로 StarCoder2-15B를 통해 수천 개의 명령을 생성합니다.
