기술 주변기기
일체 포함
텍스트 다루기, 위치 지정 및 분할 작업을 담당하는 Zhiyuan과 홍콩 중국인이 공동으로 최초의 다기능 3D 의료 다중 모드 대형 모델을 제안했습니다.
텍스트 다루기, 위치 지정 및 분할 작업을 담당하는 Zhiyuan과 홍콩 중국인이 공동으로 최초의 다기능 3D 의료 다중 모드 대형 모델을 제안했습니다.
저자 | 홍콩중문대학교 Bai Fan
편집자 | ScienceAI
최근 홍콩중문대학교와 Zhiyuan이 공동으로 M3D-Data, M3D-LaMed 및 M3D를 포함한 M3D 시리즈 작업을 제안했습니다. -벤치, 데이터 세트와 모델 및 평가를 통해 모든 측면에서 3D 의료 영상 분석 개발을 촉진합니다.
(1) M3D-Data는 M3D-Cap(120K 3D 이미지 및 텍스트 쌍), M3D-VQA(510K 질문 및 답변 쌍), M3D-Seg(150K 3D 마스크)를 포함하여 현재 가장 큰 3D 의료 이미지 데이터 세트입니다. , M3D-RefSeg(3K 추론 분할)에는 4개의 하위 데이터 세트가 있습니다.
(2) M3D-LaMed는 현재 가장 다재다능한 3D 의료 멀티모달 대형 모델로, 텍스트(질병 진단, 영상 검색, 시각적 질의응답, 보고서 생성 등), 포지셔닝(표적 탐지, 시각적 생성 등)을 해결할 수 있습니다. 포지셔닝 등) 및 세분화(의미론적 세분화, 참조 세분화, 추론 세분화 등) 세 가지 유형의 의료 분석 작업입니다.
(3) M3D-Bench는 텍스트, 위치 지정 및 분할의 세 가지 측면을 다루는 8가지 작업을 종합적이고 자동으로 평가할 수 있으며 수동으로 검증된 테스트 데이터를 제공합니다.
이르면 2024년 4월에 데이터세트, 모델, 코드를 출시할 예정입니다.
최근에는 더 작고 강력한 M3D-LaMed-Phi-3-4B 모델을 제공했으며, 모두가 경험할 수 있는 온라인 데모를 추가했습니다!
최신 진행 상황을 확인하려면 GitHub 라이브러리 업데이트를 주의 깊게 살펴보시기 바랍니다. 질문이나 제안 사항이 있으면 언제든지 저희에게 연락하여 작업에 대해 토론하고 지원해 주세요.
- 문서 링크:https://arxiv.org/abs/2404.00578
- 코드:https://github.com/BAAI-DCAI/M3D
- 모델:https:// Huggingface.co/GoodBaiBai88/M3D-LaMed-Phi-3-4B
- 데이터 세트:https://github.com/BAAI-DCAI/M3D?tab=readme-ov-file#data
- 온라인 데모: https://baai.rpalab.xyz/
의료영상 관련 연구자에게 무엇을 제공할 수 있나요?
- M3D-Data는 최대 3D 의료 다중 모드 데이터 세트입니다.
- M3D-Seg는 거의 모든 오픈 소스 3D 의료 분할 데이터 세트(총 25개)를 통합하며, 텍스트를 지원합니다. 가장 많은 기능을 갖춘 분할된 3D 의료 다중 모드 대형 모델은 간결하고 명확한 코드 프레임워크를 제공하며, 연구자는 M3D-Cap 3D 이미지 및 텍스트 쌍을 기반으로 각 모듈의 설정을 쉽게 수정할 수 있습니다.
- M3D-CLIP; 이미지와 텍스트의 대조 학습을 위한 M3D-CLIP 모델을 개발했으며, 포괄적이고 명확한 평가 계획 및 코드인 시각적 사전 학습 가중치 3DViT
- M3D-Bench를 제공합니다.
- 이 기사에 관련된 모든 리소스는 연구자들이 3D 의료 영상 분석 개발을 공동으로 추진하는 데 도움이 되기를 바라며 일반에게 공개됩니다.
의료 영상 분석은 임상 진단 및 치료에 매우 중요하며, 이를 지원하는 다중 모드 대형 언어 모델(MLLM)이 점점 더 늘어나고 있습니다. 그러나 이전 연구들은 주로 2차원 의료영상에 초점을 맞춰왔고, 3차원 영상이 더 풍부한 공간정보를 갖고 있음에도 불구하고 충분히 연구되고 탐구되지 않았다.
이 글은 MLLM을 활용한 3차원 의료영상 분석을 발전시키는 것을 목표로 합니다. 이를 위해 우리는 이미지-텍스트 검색, 보고서 생성, 시각적 질문 응답, 현지화 및 세분화.
또한, 3차원 의료영상 분석을 위한 다재다능한 멀티모달 대언어 모델인 M3D-LaMed를 제안합니다.
또한 8개 작업의 자동 평가를 용이하게 하는 새로운 3D 다중 모드 의료 벤치마크인 M3D-Bench를 소개합니다. 종합적인 평가를 통해 우리의 접근 방식은 기존 솔루션보다 성능이 뛰어난 강력한 3D 의료 영상 분석 모델임이 입증되었습니다. 모든 코드, 데이터 및 모델은 공개적으로 제공됩니다.
DatasetM3D-Data에는 M3D-Cap(이미지 및 텍스트 쌍), M3D-VQA(시각적 질문 및 답변 쌍), M3D-RefSeg(추론 분할) 및 M3D라는 총 4개의 하위 데이터 세트가 포함되어 있습니다. -Seg(25개의 3D 분할 데이터 세트 통합).
데이터 세트 통계.
M3D-VQA 데이터 세트 배포. 문제 유형에는 주로 5가지 일반적인 3D 이미지 문제(평면, 위상, 장기, 이상 및 위치)가 포함됩니다.
우리는 거의 모든 오픈 소스 3D 의료 분할 데이터 세트를 통합하여 총 25개의 M3D-Seg를 구성했습니다. 데이터 세트는 의미론적 분할, 추론 분할, 참조 분할, 해당 탐지 및 현지화 작업에 사용될 수 있습니다.
M3D-Seg.
Model
M3D-LaMed 모델 구조는 아래 그림과 같습니다. (a) 3D 이미지 인코더는 교차 모달 대비 학습 손실을 통해 이미지 및 텍스트 데이터로부터 사전 훈련되며 이미지 및 텍스트 검색 작업에 직접 적용할 수 있습니다. (b) M3D-LaMed 모델에서는 사전 훈련된 3D 영상 인코더와 효율적인 3D 공간 풀링 퍼셉트론에 3차원 의료 영상이 입력되고, 시각적 토큰은 LLM에 삽입되며, 출력 [SEG]는 분할 모듈을 구동하라는 메시지를 표시합니다.
M3D-LaMed 모델 구조.
실험
그래픽 및 텍스트 검색
3D 그래프 및 텍스트 검색에서 모델은 유사성을 기반으로 데이터 세트의 이미지와 텍스트를 일치시키는 것을 목표로 하며 일반적으로 텍스트 대 이미지 검색(TR)이라는 두 가지 작업이 포함됩니다. ) 및 이미지-텍스트 검색(IR).
적합한 방법이 부족하여 2D 의학의 대표적인 모델인 PMC-CLIP을 3D 이미지 및 텍스트 검색에 적용한 결과 공간 정보가 부족하여 거의 불가능하다는 것을 확인했습니다. 3D 이미지 및 텍스트 검색 모델과 비교해 보세요.
보고서 생성
보고서 생성에서는 모델이 3D 의료 영상에서 추출한 정보를 기반으로 텍스트 보고서를 생성합니다.
폐쇄형 시각적 질의응답
폐쇄형 시각적 질의응답에서는 모델에 A, B, C, D 등 폐쇄형 답변 후보가 제공되어야 하며 모델이 선택해야 합니다. 후보자들의 정답.
M3D-LaMed가 의료 분야에서 일반 GPT-4V보다 성능이 뛰어난 것으로 나타났습니다.
개방형 시각적 질문과 답변
개방형 시각적 질문과 답변에서 모델은 답변 힌트와 후보 없이 개방형 답변을 생성합니다.
M3D-LaMed가 의료 분야에서 일반 GPT-4V보다 성능이 뛰어난 것으로 나타났습니다. 그러나 GPT-4V는 현재 의료 관련 질문에 대한 답변을 제한한다는 점에 유의해야 합니다.
포지셔닝
위치 지정은 시각적 언어 작업, 특히 입력 및 출력 상자와 관련된 작업에서 매우 중요합니다. REC(참조 표현 이해)와 같은 출력 상자의 작업은 참조 표현을 기반으로 이미지에서 대상 객체를 찾는 것을 목표로 합니다. 이와 대조적으로 참조 표현 생성(REG)과 같은 입력 상자 작업에서는 모델이 이미지와 위치 상자를 기반으로 특정 지역에 대한 설명을 생성해야 합니다.
분할
분할 작업은 인식 및 현지화 기능으로 인해 3D 의료 영상 분석에서 매우 중요합니다. 다양한 텍스트 단서를 해결하기 위해 세분화는 의미론적 세분화와 참조 표현 세분화로 구분됩니다. 의미론적 분할의 경우 모델은 의미론적 레이블을 기반으로 분할 마스크를 생성합니다. 참조 표현 분할에는 자연어 표현 설명을 기반으로 하는 대상 분할이 필요하며, 이를 위해서는 모델에 특정 이해 및 추론 기능이 필요합니다.
배포 외(OOD) 문제에 대한 사례 연구
우리는 OOD 대화에서 M3D-LaMed 모델을 테스트했는데, 이는 모든 문제가 훈련 데이터와 관련이 없음을 의미합니다. 우리는 M3D-LaMed가 강력한 일반화 기능을 갖추고 있으며 OOD 문제에 대해 횡설수설보다는 합리적인 답변을 생성할 수 있다는 것을 발견했습니다. 각 대화 세트에서 왼쪽의 아바타와 질문은 사용자가 가져온 것이며 오른쪽의 아바타와 답변은 M3D-LaMed에서 가져온 것입니다.
모델에는 강력한 추론 및 일반화 기능이 있습니다.
최신 훈련된 소형 M3D-LaMed-Phi-3-4B 모델은 더 나은 성능을 제공하므로 누구나 사용할 수 있습니다! GoodBaiBai88/M3D-LaMed-Phi-3-4B · Hugging Face
보고서 생성 테스트 결과
비공개 VQA 테스트 결과
TotalSegmentator 의미론적 분할 주사위에 대한 검토 결과
요약
M3D 연구 시리즈는 3D 의료 영상 분석에 MLLM 사용을 장려합니다. 특히, 우리는 3D 의료 작업에 맞춰진 120K 3D 이미지-텍스트 쌍과 662K 지시-응답 쌍을 포함하는 대규모 3D 다중 모드 의료 데이터 세트 M3D-Data를 구축합니다. 또한 이미지 텍스트 검색, 보고서 생성, 시각적 질문 답변, 위치 파악 및 분할을 처리하는 일반 모델인 M3D-LaMed를 제안합니다. 또한 8가지 작업에 대해 세심하게 설계된 종합 벤치마크인 M3D-Bench를 소개합니다.
우리의 접근 방식은 MLLM이 3D 의료 현장의 비전과 언어를 이해할 수 있는 탄탄한 기반을 마련합니다. 우리의 데이터, 코드 및 모델은 향후 연구에서 3D 의료 MLLM의 추가 탐색 및 적용을 촉진할 것입니다. 우리의 작업이 해당 분야의 연구자들에게 도움이 되기를 바라며, 누구나 자유롭게 사용하고 토론할 수 있습니다.
위 내용은 텍스트 다루기, 위치 지정 및 분할 작업을 담당하는 Zhiyuan과 홍콩 중국인이 공동으로 최초의 다기능 3D 의료 다중 모드 대형 모델을 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
'Defect Spectrum'은 기존 결함 감지의 경계를 뛰어넘어 초고정밀 및 풍부한 의미론적 산업 결함 감지를 최초로 달성합니다.
Jul 26, 2024 pm 05:38 PM
현대 제조업에서 정확한 결함 검출은 제품 품질을 보장하는 열쇠일 뿐만 아니라 생산 효율성을 향상시키는 핵심이기도 합니다. 그러나 기존 결함 감지 데이터세트는 실제 적용에 필요한 정확성과 의미론적 풍부함이 부족한 경우가 많아 모델이 특정 결함 카테고리나 위치를 식별할 수 없게 됩니다. 이 문제를 해결하기 위해 광저우 과학기술대학교와 Simou Technology로 구성된 최고 연구팀은 산업 결함에 대한 상세하고 의미론적으로 풍부한 대규모 주석을 제공하는 "DefectSpectrum" 데이터 세트를 혁신적으로 개발했습니다. 표 1에서 볼 수 있듯이, 다른 산업 데이터 세트와 비교하여 "DefectSpectrum" 데이터 세트는 가장 많은 결함 주석(5438개의 결함 샘플)과 가장 상세한 결함 분류(125개의 결함 카테고리)를 제공합니다.
수백만 개의 결정 데이터로 훈련하여 결정학적 위상 문제를 해결하는 딥러닝 방법인 PhAI가 Science에 게재되었습니다.
Aug 08, 2024 pm 09:22 PM
Editor |KX 오늘날까지 단순한 금속부터 큰 막 단백질에 이르기까지 결정학을 통해 결정되는 구조적 세부 사항과 정밀도는 다른 어떤 방법과도 비교할 수 없습니다. 그러나 가장 큰 과제인 소위 위상 문제는 실험적으로 결정된 진폭에서 위상 정보를 검색하는 것입니다. 덴마크 코펜하겐 대학의 연구원들은 결정 위상 문제를 해결하기 위해 PhAI라는 딥러닝 방법을 개발했습니다. 수백만 개의 인공 결정 구조와 그에 상응하는 합성 회절 데이터를 사용하여 훈련된 딥러닝 신경망은 정확한 전자 밀도 맵을 생성할 수 있습니다. 연구는 이 딥러닝 기반의 순순한 구조 솔루션 방법이 단 2옹스트롬의 해상도로 위상 문제를 해결할 수 있음을 보여줍니다. 이는 원자 해상도에서 사용할 수 있는 데이터의 10~20%에 해당하는 반면, 기존의 순순한 계산은
NVIDIA 대화 모델 ChatQA는 버전 2.0으로 발전했으며 컨텍스트 길이는 128K로 언급되었습니다.
Jul 26, 2024 am 08:40 AM
오픈 LLM 커뮤니티는 백개의 꽃이 피어 경쟁하는 시대입니다. Llama-3-70B-Instruct, QWen2-72B-Instruct, Nemotron-4-340B-Instruct, Mixtral-8x22BInstruct-v0.1 등을 보실 수 있습니다. 훌륭한 연기자. 그러나 GPT-4-Turbo로 대표되는 독점 대형 모델과 비교하면 개방형 모델은 여전히 많은 분야에서 상당한 격차를 보이고 있습니다. 일반 모델 외에도 프로그래밍 및 수학을 위한 DeepSeek-Coder-V2, 시각 언어 작업을 위한 InternVL과 같이 핵심 영역을 전문으로 하는 일부 개방형 모델이 개발되었습니다.
Google AI가 IMO 수학 올림피아드 은메달을 획득하고 수학적 추론 모델 AlphaProof가 출시되었으며 강화 학습이 다시 시작되었습니다.
Jul 26, 2024 pm 02:40 PM
AI의 경우 수학 올림피아드는 더 이상 문제가 되지 않습니다. 목요일에 Google DeepMind의 인공 지능은 AI를 사용하여 올해 국제 수학 올림피아드 IMO의 실제 문제를 해결하는 위업을 달성했으며 금메달 획득에 한 걸음 더 다가섰습니다. 지난 주 막 끝난 IMO 대회에는 대수학, 조합론, 기하학, 수론 등 6개 문제가 출제됐다. 구글이 제안한 하이브리드 AI 시스템은 4문제를 맞혀 28점을 얻어 은메달 수준에 이르렀다. 이달 초 UCLA 종신 교수인 테렌스 타오(Terence Tao)가 상금 100만 달러의 AI 수학 올림피아드(AIMO Progress Award)를 추진했는데, 예상외로 7월 이전에 AI 문제 해결 수준이 이 수준으로 향상됐다. IMO에서 동시에 질문을 해보세요. 가장 정확하게 하기 어려운 것이 IMO인데, 역사도 가장 길고, 규모도 가장 크며, 가장 부정적이기도 합니다.
PRO | MoE 기반의 대형 모델이 더 주목받는 이유는 무엇인가요?
Aug 07, 2024 pm 07:08 PM
2023년에는 AI의 거의 모든 분야가 전례 없는 속도로 진화하고 있다. 동시에 AI는 구체화된 지능, 자율주행 등 핵심 트랙의 기술적 한계를 지속적으로 확장하고 있다. 멀티모달 추세 하에서 AI 대형 모델의 주류 아키텍처인 Transformer의 상황이 흔들릴까요? MoE(Mixed of Experts) 아키텍처를 기반으로 한 대형 모델 탐색이 업계에서 새로운 트렌드가 된 이유는 무엇입니까? 대형 비전 모델(LVM)이 일반 비전 분야에서 새로운 돌파구가 될 수 있습니까? ...지난 6개월 동안 공개된 본 사이트의 2023 PRO 회원 뉴스레터에서 위 분야의 기술 동향과 산업 변화에 대한 심층 분석을 제공하여 새로운 환경에서 귀하의 목표 달성에 도움이 되는 10가지 특별 해석을 선택했습니다. 년. 준비하세요. 이 해석은 2023년 50주차에 나온 것입니다.
대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다.
Jul 25, 2024 am 06:42 AM
편집자 |ScienceAI 질문 응답(QA) 데이터 세트는 자연어 처리(NLP) 연구를 촉진하는 데 중요한 역할을 합니다. 고품질 QA 데이터 세트는 모델을 미세 조정하는 데 사용될 수 있을 뿐만 아니라 LLM(대형 언어 모델)의 기능, 특히 과학적 지식을 이해하고 추론하는 능력을 효과적으로 평가하는 데에도 사용할 수 있습니다. 현재 의학, 화학, 생물학 및 기타 분야를 포괄하는 과학적인 QA 데이터 세트가 많이 있지만 이러한 데이터 세트에는 여전히 몇 가지 단점이 있습니다. 첫째, 데이터 형식이 비교적 단순하고 대부분이 객관식 질문이므로 평가하기 쉽지만 모델의 답변 선택 범위가 제한되고 모델의 과학적 질문 답변 능력을 완전히 테스트할 수 없습니다. 이에 비해 개방형 Q&A는
정확도는 60.8%에 달합니다. Transformer를 기반으로 한 Zhejiang University의 화학적 역합성 예측 모델은 Nature 저널에 게재되었습니다.
Aug 06, 2024 pm 07:34 PM
Editor | KX 역합성은 약물 발견 및 유기 합성에서 중요한 작업이며, 프로세스 속도를 높이기 위해 AI가 점점 더 많이 사용되고 있습니다. 기존 AI 방식은 성능이 만족스럽지 못하고 다양성이 제한적입니다. 실제로 화학 반응은 종종 반응물과 생성물 사이에 상당한 중복이 발생하는 국지적인 분자 변화를 일으킵니다. 이에 영감을 받아 Zhejiang University의 Hou Tingjun 팀은 단일 단계 역합성 예측을 분자 문자열 편집 작업으로 재정의하고 표적 분자 문자열을 반복적으로 정제하여 전구체 화합물을 생성할 것을 제안했습니다. 그리고 고품질의 다양한 예측이 가능한 편집 기반 역합성 모델 EditRetro를 제안합니다. 광범위한 실험을 통해 이 모델은 표준 벤치마크 데이터 세트 USPTO-50 K에서 60.8%의 상위 1 정확도로 탁월한 성능을 달성하는 것으로 나타났습니다.
자연의 관점: 의학 분야의 인공지능 테스트는 혼란에 빠졌습니다. 어떻게 해야 할까요?
Aug 22, 2024 pm 04:37 PM
Editor | ScienceAI 제한된 임상 데이터를 기반으로 수백 개의 의료 알고리즘이 승인되었습니다. 과학자들은 누가 도구를 테스트해야 하며 최선의 방법은 무엇인지에 대해 토론하고 있습니다. 데빈 싱(Devin Singh)은 응급실에서 오랜 시간 치료를 기다리던 중 심장마비를 겪는 소아환자를 목격했고, 이를 계기로 대기시간을 단축하기 위해 AI 적용을 모색하게 됐다. SickKids 응급실의 분류 데이터를 사용하여 Singh과 동료들은 잠재적인 진단을 제공하고 테스트를 권장하는 일련의 AI 모델을 구축했습니다. 한 연구에 따르면 이러한 모델은 의사 방문 속도를 22.3% 단축하여 의료 검사가 필요한 환자당 결과 처리 속도를 거의 3시간 단축할 수 있는 것으로 나타났습니다. 그러나 인공지능 알고리즘의 연구 성공은 이를 입증할 뿐이다.
