시각적 향상 미세 조정! DeepSeek R1 기술

큰 권장 사항 : Visual-RFT- 시각적 언어 모델을 강화하기위한 시각적 향상 및 미세 조정 오픈 소스 프로젝트!

AIXIV 칼럼은 세계 최고의 AI 연구에 계속 중점을두고 있으며 2,000 개 이상의 학업 및 기술 기사를 발표했습니다. 뛰어난 업적을 공유하는 데 오신 것을 환영합니다! 제출 이메일 : liyazhou@jiqizhixin.com;

Visual-RFT (Visual Renforccement Fine Tuning) 프로젝트는 RFT (Rule Intercement Big Models)에 대한 규칙 보상을 기반으로 강화 학습 및 강화 미세 조정 (RFT) 패러다임을 성공적으로 적용하여 이전 방법의 한계를 텍스트, 수학 및 기타 필드로 제한합니다. Visual-RFT는 시각적 하위 분류 및 객체 감지와 같은 작업에 대한 특정 규칙 보상을 설계함으로써 LVLM 교육을위한 새로운 아이디어를 제공합니다!

시각적 향상 미세 조정! DeepSeek R1 기술 1은 Visual-RFT의 강력한 일반화 능력을 보여줍니다. 모델은 시각적 향상 미세 조정! DeepSeek R1 기술에서 특정 포켓몬을 정확하게 식별하고 좌표를 찾기 위해 소량의 데이터 만 필요합니다.

^{시각적 향상 미세 조정! DeepSeek R1 기술 1. Visual-Rft는 모델 성능을 크게 향상시키기 위해 10-1000 조각의 데이터만으로 향상된 미세 조정을 멀티 모달로 확장합니다.}

RFT에서 Visual-RFT로 : 멀티 모달 필드에서 강화 학습의 획기적인

OpenAi의 향상된 미세 조정 기술을 통해 소수의 샘플만으로도 모델 기능 마이그레이션을 달성 할 수 있습니다. DeepSeek-R1은 강력한 추론 능력이 검증 가능한 보상을 기반으로 강화 학습 전략에서 비롯된 것으로 밝혀졌습니다. 그러나이 전략은 이전에 텍스트 및 수학과 같은 분야에서 주로 사용되었습니다. Visual-Rft는이 전략을 시야로 성공적으로 확장하여 시야에서 전통적인 방법의 한계를 해결하고 효율적이고 일반화 된 시각적 이해와 추론을 달성했습니다.

전통적인 시각적 명령 미세 조정 (SFT)은 많은 양의 데이터가 필요하며 Visual-RFT의 작은 샘플 학습 능력은 데이터 부족한 시나리오에서 더 유리합니다.

시각적 RFT의 일반화 능력을 확인하기 위해 연구팀은 객체 탐지, 분류 및 접지와 같은 여러 시각적 작업에 대한 테스트를 수행했습니다. 결과는 Visual-RFT가 개방형 어휘, 작은 샘플 학습 및 기타 설정에서 상당한 성능 향상을 달성 할 수 있으며 SFT 방법보다 우수하다는 것을 보여줍니다. 특히 추론 포지셔닝 작업에서 Visual-RFT는 우수한 시각적 추론 기능을 보여줍니다. (자세한 내용은 종이 참조)

^{시각적 향상 미세 조정! DeepSeek R1 기술 2. Visual-Rft는 여러 시각적 작업에서 SFT를 크게 능가합니다.}

^{시각적 향상 미세 조정! DeepSeek R1 기술 3. Visual-Rft 프레임 워크 다이어그램, IOU 및 CLS 보상 및 강화 학습 전략을 사용한 모델 매개 변수 업데이트.}

연구팀은 탐지 및 접지 작업에 IOU 기반 검증 가능한 보상을 사용했으며 분류 작업에 대한 분류 정확성을 기반으로 CLS 보상을 사용했습니다. (시각적 향상 미세 조정! DeepSeek R1 기술 3과 같이)

^{시각적 향상 미세 조정! DeepSeek R1 기술 4. 추론 적 위치 결과는 Visual-RFT가 SFT를 능가하여 물체를보다 정확하게 찾을 수 있음을 보여줍니다.}

^{시각적 향상 미세 조정! DeepSeek R1 기술 5. 추론 적 미세 입자 분류 결과는 시각적 RFT가 SFT를 능가하여 물체를보다 정확하게 찾는다는 것을 보여줍니다.}

시각적 향상 미세 조정! DeepSeek R1 기술 4와 시각적 향상 미세 조정! DeepSeek R1 기술 5는 모델의 출력 결과를 보여줍니다.

비주얼 rft 실험 결과

QWEN2-VL 2B/7B 모델을 기반으로, Visual-RFT는 열린 물체 감지, 작은 샘플 감지, 세밀한 분류 및 추론 포지셔닝 작업의 SFT를 포괄적으로 능가합니다. 실험 데이터는 Coco 및 Lvis와 같은 일반적인 장면과 인터넷 만화 캐릭터와 같은 열린 장면을 다룹니다. 소량의 데이터만으로도 Visual-RFT는 기능 마이그레이션을 달성하여 성능과 견고성을 보여줍니다.

^{시각적 향상 미세 조정! DeepSeek R1 기술 5. 일부 실험 결과는 Visual-RFT가 SFT를 크게 능가한다는 것을 보여줍니다.}

Visual-Rft는 오픈 소스입니다!

Visual-RFT 프로젝트는 오픈 소스이며 교육, 평가 코드 및 데이터를 포함합니다. 참여에 오신 것을 환영합니다!

프로젝트 주소 : https://www.php.cn/link/ec5652bc9c2e15be17d11962eeec453

위 내용은 시각적 향상 미세 조정! DeepSeek R1 기술의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!