TRIBE는 도메인 적응 견고성을 달성하고 여러 실제 시나리오에서 SOTA의 AAAII 2024에 도달합니다.
테스트 데이터 흐름은 시간에 따라 변하는 분포여야 합니다(기존 도메인 적응의 고정 분포가 아님). 테스트 데이터 스트림에 (완전히 독립적이고 동일하게 분산된 샘플링이 아닌) 로컬 클래스 상관 관계가 있을 수 있습니다. 테스트 데이터 스트림은 여전히 오랫동안 글로벌 클래스 불균형을 보여줍니다
조명/날씨 조건의 점진적인 변화와 같이 시간이 지남에 따라 실제 테스트 데이터에서 도메인 이동이 자주 발생합니다. 이는 도메인 A에 대한 과적합으로 인해 도메인 A에서 도메인 B로 전환할 때 TTA 모델이 일관성이 없게 될 수 있는 기존 TTA 방법에 또 다른 과제를 안겨줍니다.
특정 단기 도메인에 대한 과잉 적응을 완화하기 위해 CoTTA는 매개변수를 무작위로 복원하고, EATA는 피셔 정보를 사용하여 매개변수를 정규화합니다. 그럼에도 불구하고 이러한 방법은 여전히 테스트 데이터 분야에서 새로운 과제를 명시적으로 해결하지 못합니다.
이 기사에서는 2개 분기 자체 학습 아키텍처를 기반으로 3네트워크 자체 학습 모델(Tri-Net Self-Training)을 형성하기 위한 앵커 네트워크(Anchor Network)를 소개합니다. 앵커 네트워크는 동결된 소스 모델이지만 테스트 샘플을 통해 배치 정규화 계층의 매개변수 대신 통계 튜닝을 허용합니다. 그리고 앵커 네트워크의 출력을 사용하여 교사 모델의 출력을 정규화하여 네트워크가 로컬 분포에 과도하게 적응하는 것을 방지하는 앵커링 손실이 제안되었습니다.
최종 모델은 3-net self-training 모델과 균형 배치 정규화 계층(TRI-net self-training with BalanceEd Normalization, TRIBE)을 결합하여 더 넓은 범위의 조정 가능한 학습률에서 일관되게 우수한 성능을 보여줍니다. 4개의 데이터 세트와 여러 실제 데이터 스트림에서 상당한 성능 향상을 보여주며 고유한 안정성과 견고성을 보여줍니다.
실제 TTA 프로토콜 소개 균형 배치 정규화; 3개의 네트워크 자동 모델을 학습시킵니다.
저자는 현실 세계의 로컬 클래스 불균형과 글로벌 클래스 불균형으로 데이터 흐름을 테스트하기 위해 수학적 확률 모델을 채택했으며, Domain 시간에 따른 분포를 모델링했습니다. 아래 그림 2와 같습니다.
BN 통계에 대한 불균형 테스트 데이터에 의해 생성된 추정된 편향을 수정하기 위해 저자는 각 BN 통계에 대한 균형 배치 정규화 레이어를 제안합니다. 의미 클래스는 한 쌍의 통계를 유지합니다.
범주 통계를 업데이트하기 위해 저자는 아래와 같이 의사 레이블 예측을 사용하여 효율적인 반복 업데이트 방법을 적용합니다.
다음 그림은 TRIBE 네트워크의 프레임 다이어그램을 보여줍니다. 의사 라벨 정확도가 낮은 경우(정확도
위 내용은 TRIBE는 도메인 적응 견고성을 달성하고 여러 실제 시나리오에서 SOTA의 AAAII 2024에 도달합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 인공 지능 개발 과정에서 LLM(대형 언어 모델)의 제어 및 안내는 항상 핵심 과제 중 하나였으며 이러한 모델이 두 가지 모두를 보장하는 것을 목표로 했습니다. 강력하고 안전하게 인간 사회에 봉사합니다. 인간 피드백(RL)을 통한 강화 학습 방법에 초점을 맞춘 초기 노력

역시 Tusheng 영상이지만 PaintsUndo는 다른 경로를 택했습니다. ControlNet 작성자 LvminZhang이 다시 살기 시작했습니다! 이번에는 회화 분야를 목표로 삼고 있습니다. 새로운 프로젝트인 PaintsUndo는 출시된 지 얼마 되지 않아 1.4kstar(여전히 상승세)를 받았습니다. 프로젝트 주소: https://github.com/lllyasviel/Paints-UNDO 이 프로젝트를 통해 사용자는 정적 이미지를 입력하고 PaintsUndo는 자동으로 라인 초안부터 완성품 따라가기까지 전체 페인팅 과정의 비디오를 생성하도록 도와줍니다. . 그리는 과정에서 선의 변화가 놀랍습니다. 최종 영상 결과는 원본 이미지와 매우 유사합니다. 완성된 그림을 살펴보겠습니다.

AI 모델이 내놓은 답변이 전혀 이해하기 어렵다면 감히 사용해 보시겠습니까? 기계 학습 시스템이 더 중요한 영역에서 사용됨에 따라 우리가 그 결과를 신뢰할 수 있는 이유와 신뢰할 수 없는 경우를 보여주는 것이 점점 더 중요해지고 있습니다. 복잡한 시스템의 출력에 대한 신뢰를 얻는 한 가지 가능한 방법은 시스템이 인간이나 다른 신뢰할 수 있는 시스템이 읽을 수 있는 출력 해석을 생성하도록 요구하는 것입니다. 즉, 가능한 오류가 발생할 수 있는 지점까지 완전히 이해할 수 있습니다. 설립하다. 예를 들어, 사법 시스템에 대한 신뢰를 구축하기 위해 우리는 법원이 자신의 결정을 설명하고 뒷받침하는 명확하고 읽기 쉬운 서면 의견을 제공하도록 요구합니다. 대규모 언어 모델의 경우 유사한 접근 방식을 채택할 수도 있습니다. 그러나 이 접근 방식을 사용할 때는 언어 모델이 다음을 생성하는지 확인하세요.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 이 논문의 저자는 모두 일리노이 대학교 Urbana-Champaign(UIUC)의 Zhang Lingming 교사 팀 출신입니다. Steven Code Repair, 박사 4년차, 연구원

최근 새천년 7대 과제 중 하나로 알려진 리만 가설이 새로운 돌파구를 마련했다. 리만 가설은 소수 분포의 정확한 특성과 관련된 수학에서 매우 중요한 미해결 문제입니다(소수는 1과 자기 자신으로만 나눌 수 있는 숫자이며 정수 이론에서 근본적인 역할을 합니다). 오늘날의 수학 문헌에는 리만 가설(또는 일반화된 형식)의 확립에 기초한 수학적 명제가 천 개가 넘습니다. 즉, 리만 가설과 그 일반화된 형식이 입증되면 천 개가 넘는 명제가 정리로 확립되어 수학 분야에 지대한 영향을 미칠 것이며, 리만 가설이 틀린 것으로 입증된다면, 이러한 제안의 일부도 그 효과를 잃을 것입니다. MIT 수학 교수 Larry Guth와 Oxford University의 새로운 돌파구

현재 차세대 토큰 예측 패러다임을 사용하는 자동회귀 대규모 언어 모델은 전 세계적으로 인기를 얻고 있으며 동시에 인터넷의 수많은 합성 이미지와 비디오는 이미 확산 모델의 힘을 보여주었습니다. 최근 MITCSAIL 연구팀(그 중 한 명은 MIT 박사 과정 학생인 Chen Boyyuan)이 전체 시퀀스 확산 모델과 차세대 토큰 모델의 강력한 기능을 성공적으로 통합하고 훈련 및 샘플링 패러다임인 확산 강제(DF)를 제안했습니다. ). 논문 제목: DiffusionForcing:Next-tokenPredictionMeetsFull-SequenceDiffusion 논문 주소: https:/

건배! 종이 토론이 말로만 진행된다면 어떤가요? 최근 스탠포드 대학교 학생들은 arXiv 논문에 대한 질문과 의견을 직접 게시할 수 있는 arXiv 논문에 대한 공개 토론 포럼인 alphaXiv를 만들었습니다. 웹사이트 링크: https://alphaxiv.org/ 실제로 이 웹사이트를 특별히 방문할 필요는 없습니다. URL에서 arXiv를 alphaXiv로 변경하면 alphaXiv 포럼에서 해당 논문을 바로 열 수 있습니다. 논문, 문장: 오른쪽 토론 영역에서 사용자는 저자에게 논문의 아이디어와 세부 사항에 대해 질문하는 질문을 게시할 수 있습니다. 예를 들어 다음과 같이 논문 내용에 대해 의견을 제시할 수도 있습니다.

LLM에 인과관계 사슬을 보여주면 공리를 학습합니다. AI는 이미 수학자 및 과학자의 연구 수행을 돕고 있습니다. 예를 들어, 유명한 수학자 Terence Tao는 GPT와 같은 AI 도구의 도움을 받아 자신의 연구 및 탐색 경험을 반복적으로 공유했습니다. AI가 이러한 분야에서 경쟁하려면 강력하고 신뢰할 수 있는 인과관계 추론 능력이 필수적입니다. 본 논문에서 소개할 연구에서는 작은 그래프의 인과 전이성 공리 시연을 위해 훈련된 Transformer 모델이 큰 그래프의 전이 공리로 일반화될 수 있음을 발견했습니다. 즉, Transformer가 단순한 인과 추론을 수행하는 방법을 학습하면 보다 복잡한 인과 추론에 사용될 수 있습니다. 팀이 제안하는 공리적 훈련 프레임워크는 시연만으로 패시브 데이터를 기반으로 인과 추론을 학습하는 새로운 패러다임입니다.
