Microsoft Orca-2 13B 소규모 언어 모델이 70B 대안을 능가함
Microsoft는 최근 차세대 Orca-2 AI 모델에 대한 새로운 연구 논문을 발표했습니다. 인공 지능의 힘은 가장 크고 가장 복잡한 시스템에 적용될 뿐만 아니라 더 작고 접근 가능한 프레임워크에서도 번창할 수 있음을 증명합니다. Microsoft는 더 클수록 더 좋다는 통념에 도전하는 Orca-2, Orca-2 언어 모델 을 도입하여 이러한 방향으로 과감한 조치를 취했습니다. 이 새로운 개발은 인공 지능에 열정을 갖고 이러한 시스템이 할 수 있는 한계를 확장하려는 사람들에게 특히 흥미로울 것입니다.
"Orca-2: 작은 언어 모델에 추론 방법 가르치기"라는 제목의 Microsoft 연구 논문은 Orca-2와 같은 작은 모델을 훈련하여 추론 능력을 향상시키는 방법에 대한 흥미로운 탐구입니다. Orca-2에는 130억 개의 매개변수만 포함되어 있어 훈련 품질이 모델의 추론 능력에 큰 영향을 미칠 수 있음이 입증되었습니다. 이는 한때 대형 모델의 독점적인 영역으로 간주되었던 복잡한 작업을 수행할 수 있는 소형 모델의 잠재력에 관심이 있는 모든 사람에게 중요한 통찰력입니다. Microsoft는 다음과 같이 자세히 설명합니다.
“Orca 2는 소규모 LM(약 100억 개 이하의 매개변수)의 기능을 탐색하는 최신 단계입니다. Orca 2를 통해 우리는 향상된 교육 신호와 방법을 통해 더 작은 언어 모델을 통해 향상된 기능을 구현할 수 있음을 계속해서 보여줍니다. 일반적으로 더 큰 언어 모델에서만 볼 수 있는 추론 기능
Orca-2의 가장 매력적인 측면 중 하나는 700억 개의 추론 작업 성능 을 능가하는 능력입니다. 계산 제약이 있는 작업을 하거나 보다 효율적인 AI 솔루션을 찾는 사람들에게 특히 중요합니다. Orca-2의 벤치마크 결과는 모델의 추론 기능을 강조합니다. 이는
Orca-2 소규모 언어 모델
Orca입니다. -2는 두 가지 크기(70억 및 130억 매개변수)로 제공되며 둘 다 해당 LLAMA 2 기본 모델에서 생성된 맞춤형 고품질 합성 데이터에 대한 연구를 장려하기 위해 공개됩니다. 소규모 LM의 개발, 평가 및 정렬
Microsoft Orca-2
인공 지능의 공동 발전에 대한 노력을 강조하기 위해 Microsoft는 오픈 소스 커뮤니티에서 사용할 수 있는 Orca-2 모델 가중치를 만들었습니다. 연구자들은 모두 이 최첨단 기술을 활용하여 자신의 프로젝트에 통합하고 인공 지능의 집단적 발전에 기여할 것입니다.
이 연구 논문은 전통적인 모방 학습을 넘어 대안적인 훈련 방법을 소개합니다. Orca-2에 다양한 추론 전략을 제공하는 이러한 방법을 통해 모델은 다양한 작업에 적응할 수 있으며 이는 인공 지능의 복잡성을 탐구하는 사람들에게 새로운 교육 패러다임을 탐색할 수 있는 기회를 의미합니다. 기계가 생각하도록 가르치는 방식을 재정의합니다 Orca-2는 신중하게 제작된합성을 기반으로 구축되었습니다. 모델은 데이터세트에서 훈련되었으며 상당한 벤치마크 성능을 달성했습니다. 이는 모델이 전략적 데이터 사용을 통해 연마되었음을 의미합니다. 실제 응용에 대한 효율성과 적응성. 강력할 뿐만 아니라 다양한 시나리오를 처리하는 데 다재다능한 모델을 의미합니다.
Orca-2의 라이선스 조건은 모델을 사용할 때 연구 지향적 성격을 강조하도록 맞춤화되어 있습니다. 연구 중심 개발 환경을 지원하고 다양한 프로젝트에서 Orca-2 사용을 안내하므로 고려해야 합니다. Microsoft는 또한 로컬 컴퓨터에서 Orca-2를 설정하기 위한 자세한 지침을 제공합니다. 개발자, 연구원 또는 AI 애호가인지 여부에 관계없이 이러한 수준의 사용자 정의는 Orca-2의 전체 기능을 탐색하는 데 매우 중요합니다. Microsoft의 Orca-2는 컴팩트의 주요 발전을 나타냅니다. 언어 모델은 대형 모델의 지배력에 도전하는 향상된 추론 기능을 제공합니다. 오픈 소스 협업, 혁신적인 교육 기술 또는 연구 이니셔티브를 통해 Orca-2와 파트너십을 맺으면 AI 개발의 변혁기의 최전선에 서게 됩니다. Microsoft의 Orca-2는 소형 모델이 수행할 수 있는 작업의 지평을 넓힐 뿐만 아니라 여러분이 이 흥미로운 분야에서 적극적인 역할을 하도록 초대합니다.위 내용은 Microsoft Orca-2 13B 소규모 언어 모델이 70B 대안을 능가함의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7321
9
1625
14
1349
46
1261
25
1209
29
Bytedance Cutting, SVIP 슈퍼 멤버십 출시: 연간 연속 구독료 499위안, 다양한 AI 기능 제공
Jun 28, 2024 am 03:51 AM
이 사이트는 6월 27일에 Jianying이 ByteDance의 자회사인 FaceMeng Technology에서 개발한 비디오 편집 소프트웨어라고 보도했습니다. 이 소프트웨어는 Douyin 플랫폼을 기반으로 하며 기본적으로 플랫폼 사용자를 위한 짧은 비디오 콘텐츠를 제작합니다. Windows, MacOS 및 기타 운영 체제. Jianying은 멤버십 시스템 업그레이드를 공식 발표하고 지능형 번역, 지능형 하이라이트, 지능형 패키징, 디지털 인간 합성 등 다양한 AI 블랙 기술을 포함하는 새로운 SVIP를 출시했습니다. 가격면에서 SVIP 클리핑 월 요금은 79위안, 연간 요금은 599위안(본 사이트 참고: 월 49.9위안에 해당), 월간 연속 구독료는 월 59위안, 연간 연속 구독료는 59위안입니다. 연간 499위안(월 41.6위안)입니다. 또한, 컷 관계자는 "사용자 경험 향상을 위해 기존 VIP에 가입하신 분들도
Rag 및 Sem-Rag를 사용한 상황 증강 AI 코딩 도우미
Jun 10, 2024 am 11:08 AM
검색 강화 생성 및 의미론적 메모리를 AI 코딩 도우미에 통합하여 개발자 생산성, 효율성 및 정확성을 향상시킵니다. EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG에서 번역됨, 저자 JanakiramMSV. 기본 AI 프로그래밍 도우미는 자연스럽게 도움이 되지만, 소프트웨어 언어에 대한 일반적인 이해와 소프트웨어 작성의 가장 일반적인 패턴에 의존하기 때문에 가장 관련성이 높고 정확한 코드 제안을 제공하지 못하는 경우가 많습니다. 이러한 코딩 도우미가 생성한 코드는 자신이 해결해야 할 문제를 해결하는 데 적합하지만 개별 팀의 코딩 표준, 규칙 및 스타일을 따르지 않는 경우가 많습니다. 이로 인해 코드가 애플리케이션에 승인되기 위해 수정되거나 개선되어야 하는 제안이 나타나는 경우가 많습니다.
미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다.
Jun 11, 2024 pm 03:57 PM
LLM(대형 언어 모델)은 대규모 텍스트 데이터베이스에서 훈련되어 대량의 실제 지식을 습득합니다. 이 지식은 매개변수에 내장되어 필요할 때 사용할 수 있습니다. 이러한 모델에 대한 지식은 훈련이 끝나면 "구체화"됩니다. 사전 훈련이 끝나면 모델은 실제로 학습을 중단합니다. 모델을 정렬하거나 미세 조정하여 이 지식을 활용하고 사용자 질문에 보다 자연스럽게 응답하는 방법을 알아보세요. 그러나 때로는 모델 지식만으로는 충분하지 않을 때도 있으며, 모델이 RAG를 통해 외부 콘텐츠에 접근할 수 있더라도 미세 조정을 통해 모델을 새로운 도메인에 적응시키는 것이 유익한 것으로 간주됩니다. 이러한 미세 조정은 인간 주석 작성자 또는 기타 LLM 생성자의 입력을 사용하여 수행됩니다. 여기서 모델은 추가적인 실제 지식을 접하고 이를 통합합니다.
대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다.
Jul 25, 2024 am 06:42 AM
편집자 |ScienceAI 질문 응답(QA) 데이터 세트는 자연어 처리(NLP) 연구를 촉진하는 데 중요한 역할을 합니다. 고품질 QA 데이터 세트는 모델을 미세 조정하는 데 사용될 수 있을 뿐만 아니라 LLM(대형 언어 모델)의 기능, 특히 과학적 지식을 이해하고 추론하는 능력을 효과적으로 평가하는 데에도 사용할 수 있습니다. 현재 의학, 화학, 생물학 및 기타 분야를 포괄하는 과학적인 QA 데이터 세트가 많이 있지만 이러한 데이터 세트에는 여전히 몇 가지 단점이 있습니다. 첫째, 데이터 형식이 비교적 단순하고 대부분이 객관식 질문이므로 평가하기 쉽지만 모델의 답변 선택 범위가 제한되고 모델의 과학적 질문 답변 능력을 완전히 테스트할 수 없습니다. 이에 비해 개방형 Q&A는
Yolov10: 자세한 설명, 배포, 적용이 모두 한곳에!
Jun 07, 2024 pm 12:05 PM
1. 소개 지난 몇 년 동안 YOLO는 계산 비용과 감지 성능 간의 효과적인 균형으로 인해 실시간 객체 감지 분야에서 지배적인 패러다임이 되었습니다. 연구원들은 YOLO의 아키텍처 설계, 최적화 목표, 데이터 확장 전략 등을 탐색하여 상당한 진전을 이루었습니다. 동시에 사후 처리를 위해 NMS(비최대 억제)에 의존하면 YOLO의 엔드투엔드 배포가 방해되고 추론 대기 시간에 부정적인 영향을 미칩니다. YOLO에서는 다양한 구성 요소의 설계에 포괄적이고 철저한 검사가 부족하여 상당한 계산 중복이 발생하고 모델 기능이 제한됩니다. 이는 최적이 아닌 효율성을 제공하며 성능 향상을 위한 상대적으로 큰 잠재력을 제공합니다. 이 작업의 목표는 사후 처리와 모델 아키텍처 모두에서 YOLO의 성능 효율성 경계를 더욱 향상시키는 것입니다. 이를 위해
SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합
Jul 17, 2024 pm 06:37 PM
Editor | KX 약물 연구 및 개발 분야에서 단백질과 리간드의 결합 친화도를 정확하고 효과적으로 예측하는 것은 약물 스크리닝 및 최적화에 매우 중요합니다. 그러나 현재 연구에서는 단백질-리간드 상호작용에서 분자 표면 정보의 중요한 역할을 고려하지 않습니다. 이를 기반으로 Xiamen University의 연구자들은 처음으로 단백질 표면, 3D 구조 및 서열에 대한 정보를 결합하고 교차 주의 메커니즘을 사용하여 다양한 양식 특징을 비교하는 새로운 다중 모드 특징 추출(MFE) 프레임워크를 제안했습니다. 조정. 실험 결과는 이 방법이 단백질-리간드 결합 친화도를 예측하는 데 있어 최첨단 성능을 달성한다는 것을 보여줍니다. 또한 절제 연구는 이 프레임워크 내에서 단백질 표면 정보와 다중 모드 기능 정렬의 효율성과 필요성을 보여줍니다. 관련 연구는 "S"로 시작된다
OpenAI 데이터가 필요하지 않습니다. 대규모 코드 모델 목록에 참여하세요! UIUC, StarCoder-15B-Instruct 출시
Jun 13, 2024 pm 01:59 PM
소프트웨어 기술의 선두에 있는 UIUC Zhang Lingming 그룹은 BigCode 조직의 연구원들과 함께 최근 StarCoder2-15B-Instruct 대규모 코드 모델을 발표했습니다. 이 혁신적인 성과는 코드 생성 작업에서 획기적인 발전을 이루었으며 CodeLlama-70B-Instruct를 성공적으로 능가하고 코드 생성 성능 목록의 최상위에 올랐습니다. StarCoder2-15B-Instruct의 독창성은 순수한 자체 정렬 전략에 있습니다. 전체 훈련 프로세스는 개방적이고 투명하며 완전히 자율적이고 제어 가능합니다. 이 모델은 값비싼 수동 주석에 의존하지 않고 StarCoder-15B 기본 모델을 미세 조정한 것에 대한 응답으로 StarCoder2-15B를 통해 수천 개의 명령을 생성합니다.
VSCode 프런트엔드 개발의 새로운 시대: 적극 권장되는 12가지 AI 코드 도우미
Jun 11, 2024 pm 07:47 PM
프런트엔드 개발 세계에서 VSCode는 강력한 기능과 풍부한 플러그인 생태계를 통해 수많은 개발자가 선택하는 도구가 되었습니다. 최근 몇 년 동안 인공지능 기술의 급속한 발전으로 VSCode의 AI 코드 도우미가 등장하여 개발자의 코딩 효율성이 크게 향상되었습니다. VSCode의 AI 코드 도우미는 비가 내린 후 버섯처럼 생겨나 개발자의 코딩 효율성을 크게 향상시켰습니다. 인공 지능 기술을 사용하여 코드를 지능적으로 분석하고 정확한 코드 완성, 자동 오류 수정, 문법 검사 및 기타 기능을 제공하여 코딩 과정에서 개발자의 오류와 지루한 수동 작업을 크게 줄입니다. 오늘은 여러분의 프로그래밍 여정에 도움이 될 VSCode 프런트엔드 개발 AI 코드 도우미 12명을 추천해 드리겠습니다.