기술 주변기기 일체 포함 UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

Dec 04, 2023 pm 06:25 PM
이론 llava

비주얼(픽셀) 모델만으로 어디까지 갈 수 있나요? UC Berkeley와 Johns Hopkins University의 새로운 논문에서는 이 문제를 탐구하고 다양한 CV 작업에서 LVM(대형 비전 모델)의 잠재력을 보여줍니다.

최근에는 GPT, LLaMA 등 대형 언어 모델(LLM)이 전 세계적으로 인기를 끌고 있습니다.

LVM(Large Vision Models)을 구축하는 것은 큰 관심사입니다. 이를 달성하려면 무엇이 필요합니까?

LLaVA와 같은 시각 언어 모델이 제공하는 아이디어는 흥미롭고 탐구할 가치가 있지만 동물계의 법칙에 따르면 시각 능력과 언어 능력은 관련이 없다는 것을 이미 알고 있습니다. 예를 들어, 많은 실험에서는 인간이 아닌 영장류의 언어 체계가 인간과 "동일"함에도 불구하고 시각적 세계가 인간의 시각적 세계와 매우 유사하다는 사실이 밝혀졌습니다.

최근 논문에서는 픽셀만으로 얼마나 멀리 갈 수 있는가에 대한 또 다른 질문에 대한 답을 논의합니다. 논문은 캘리포니아대학교, 버클리대학교, 존스홉킨스대학교

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

  • 논문 링크: https://arxiv.org/abs/2312.00785

  • 프로젝트 홈페이지: https:// yutongbai .com/lvm.html

연구원들이 LVM에서 모방하려는 LLM의 주요 특성: 1) 데이터의 규모 증가에 따라 비즈니스를 확장하려면 새로운 시장 기회를 찾아야 합니다. 우리는 증가하는 수요를 충족시키기 위해 제품 라인을 더욱 확장할 계획입니다. 동시에 마케팅 전략을 강화하고 브랜드 인지도를 높이겠습니다. 산업전시회 및 판촉활동에 적극 참여하여 보다 많은 고객군 발굴에 노력하겠습니다. 우리는 이러한 노력을 통해 더 큰 성공과 지속적인 성장을 이룰 수 있다고 믿습니다. 2) 프롬프트를 통해 유연하게 작업을 지정합니다(상황별 학습).

그들은 세 가지 주요 구성 요소, 즉 데이터, 아키텍처 및 손실 기능을 지정했습니다.

데이터 측면에서 연구자들은 시각적 데이터의 상당한 다양성을 활용하고 싶어합니다. 주석이 없는 원시 이미지와 비디오로 시작하여 지난 수십 년 동안 생성된 주석이 달린 다양한 시각적 데이터 소스(의미론적 분할, 깊이 재구성, 키포인트, 다중 뷰 3D 개체 등 포함)를 활용합니다. 그들은 픽셀 이상의 메타 지식이 필요하지 않고 이러한 다양한 주석을 표현하기 위해 공통 형식("시각적 문장")을 정의했습니다. 훈련 세트의 총 크기는 16억 4천만 개의 이미지/프레임입니다.

아키텍처 측면에서 연구원들은 대규모 변환기 아키텍처(30억 매개변수)를 사용하여 토큰 시퀀스로 표현된 시각적 데이터를 훈련하고 학습된 토크나이저를 사용하여 각 이미지를 256개의 벡터 양자화토큰 문자열에 매핑했습니다.

손실 함수 측면에서 연구자들은 자연어 커뮤니티에서 영감을 얻었습니다. 즉, 마스크 토큰 모델링은 시퀀스 자동 회귀 예측 방법에 "제공"되었습니다. 이미지, 비디오 및 주석이 달린 이미지를 모두 시퀀스로 표현할 수 있으면 훈련된 모델은 다음 토큰을 예측할 때 교차 엔트로피 손실을 최소화할 수 있습니다.

이 극도로 단순한 디자인을 통해 연구원은 다음과 같은 주목할만한 행동을 보여주었습니다.

  • 모델 크기와 데이터 크기가 증가함에 따라 모델이 자동으로 적절함을 보여줍니다. 비즈니스 확장을 위해서는 새로운 시장 기회를 찾아야 합니다. 우리는 증가하는 수요를 충족시키기 위해 제품 라인을 더욱 확장할 계획입니다. 동시에 마케팅 전략을 강화하고 브랜드 인지도를 높이겠습니다. 산업전시회 및 판촉활동에 적극 참여하여 보다 많은 고객군 발굴에 노력하겠습니다. 우리는 이러한 노력을 통해 더 큰 성공을 거두고 지속적인 성장을 달성할 수 있다고 믿습니다.

  • 이제 테스트 중에 적절한 프롬프트를 디자인하면 다양한 시각적 작업을 해결할 수 있습니다. 특별히 훈련된 맞춤형 모델만큼 고성능 결과는 아니지만 단일 비전 모델이 이렇게 많은 작업을 해결할 수 있다는 사실은 매우 고무적입니다.

  • 다양한 비전 작업에 대한 대량의 비지도 데이터 성능에 큰 도움이 됩니다.

  • 배포되지 않은 데이터를 처리하고 새로운 작업을 수행할 때 일반적인 시각적 추론 능력의 징후가 있었지만 여전히 추가 연구가 필요합니다.

논문의 공동 저자인 John Hope Yutong Bai, Kings College의 4년차 CS 박사 과정 학생과 Berkeley의 방문 박사 과정 학생이 자신의 작업을 홍보하기 위해 트윗을 올렸습니다.

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

원본 이미지 출처는 트위터 계정입니다: https://twitter.com/YutongBAI1002/status/1731512110247473608

논문 작성자 중 마지막 3명은 해당 분야의 선임 학자입니다. UC 버클리 이력서. Trevor Darrell 교수는 버클리 인공지능 연구실인 BAIR의 창립 공동 소장이고, Jitendra Malik 교수는 2019 IEEE Computer Pioneer Award를 수상했으며, Alexei A. Efros 교수는 최근접 이웃 연구로 특히 유명합니다.

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

왼쪽부터 Trevor Darrell, Jitendra Malik, Alexei A. Efros입니다.

방법 소개

이 기사에서는 2단계 접근 방식을 사용합니다. 1) 각 이미지를 일련의 시각적 토큰으로 변환할 수 있는 대규모 시각적 토크나이저(단일 이미지에서 작동)를 교육합니다. 시각적 문장 자동회귀 변환기 모델, 각 문장은 일련의 토큰으로 표시됩니다. 방법은 그림 2에 나와 있습니다

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

이미지 토큰화

Transformer 모델을 이미지에 적용하기 위한 일반적인 작업은 다음과 같습니다. 이미지를 패치로 나누고 이를 시퀀스로 처리하거나 사전 훈련된 이미지를 사용합니다. VQVAE 또는 VQGAN과 같은 토크나이저는 이미지 기능을 개별 토큰 그리드로 집계합니다. 이 기사에서는 VQGAN 모델을 사용하여 의미론적 토큰을 생성하는 후자의 방법을 채택합니다.

LVM 프레임워크에는 인코딩 및 디코딩 메커니즘이 포함되어 있으며 인코더와 디코더가 컨벌루션 레이어로 구축되는 양자화 레이어도 있습니다. 인코더에는 입력의 공간 크기를 줄이기 위한 여러 다운샘플링 모듈이 장착되어 있고, 디코더에는 이미지를 원래 크기로 복원하기 위한 일련의 동등한 업샘플링 모듈이 장착되어 있습니다. 특정 이미지에 대해 VQGAN 토크나이저는 256개의 개별 토큰을 생성합니다.

이 문서의 VQGAN 아키텍처는 Chang et al.이 제안한 구현 세부 사항을 채택하고 해당 설정을 따릅니다. 구체적으로 다운샘플링 인자는 f=16이고 코드북 크기는 8192이다. 이는 256×256 크기의 이미지에 대해 VQGAN 토크나이저가 16×16=256개의 토큰을 생성하고 각 토큰이 8192개의 서로 다른 값을 가질 수 있음을 의미합니다. 또한 이 기사에서는 LAION 5B 데이터 세트의 1.5B 하위 집합에 대해 토크나이저를 교육했습니다

시각적 문장 시퀀스 모델링

VQGAN을 사용하여 이미지를 개별 토큰으로 변환한 후 이 기사에서는 여러 이미지의 개별 토큰을 사용하여 하나로 연결합니다. -차원적 서열을 다루고 시각적 문장을 통일된 서열로 취급합니다. 중요한 것은 어떤 시각적 문장도 특별히 처리되지 않았다는 것입니다. 즉, 특정 작업이나 형식을 나타내는 데 특별한 토큰이 사용되지 않았습니다.

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

시각적 문장의 기능은 다양한 시각적 데이터를 통일된 이미지 시퀀스 구조로 형식화하는 것입니다

구현 세부정보. 본 논문에서는 시각적 문장의 각 이미지를 256개의 토큰으로 토큰화한 후 이를 연결하여 1D 토큰 시퀀스를 형성합니다. 시각적 토큰 시퀀스에서 이 기사의 Transformer 모델은 실제로 자동 회귀 언어 모델과 동일하므로 LLaMA의 Transformer 아키텍처를 채택합니다.

이 콘텐츠는 언어 모델과 유사한 4096 토큰의 컨텍스트 길이를 사용합니다. 각 시각적 문장의 시작 부분에 [BOS](문장 시작) 토큰을 추가하고 끝에 [EOS](문장 끝) 토큰을 추가하고 훈련 중에 시퀀스 스플라이싱을 사용하여 효율성을 향상시킵니다.

이 기사는 전체 UVDv1 데이터세트(4200, 1억 토큰), 서로 다른 매개변수 번호를 가진 총 4개 모델(3억, 6억, 10억, 30억)이 훈련되었습니다.

실험 결과를 다시 작성해야 합니다

모델을 평가하기 위해 실험을 수행했습니다. 비즈니스를 확장하려면 새로운 시장 기회를 찾아야 합니다. 우리는 증가하는 수요를 충족시키기 위해 제품 라인을 더욱 확장할 계획입니다. 동시에 마케팅 전략을 강화하고 브랜드 인지도를 높이겠습니다. 산업전시회 및 판촉활동에 적극 참여하여 보다 많은 고객군 발굴에 노력하겠습니다. 우리는 이러한 노력을 통해 더 큰 성공을 이룰 수 있으며, 다양한 업무를 이해하고 대답하는 능력과 능력이 지속적으로 성장할 수 있다고 믿습니다.

비즈니스를 확장하려면 새로운 시장 기회를 찾아야 합니다. 우리는 증가하는 수요를 충족시키기 위해 제품 라인을 더욱 확장할 계획입니다. 동시에 마케팅 전략을 강화하고 브랜드 인지도를 높이겠습니다. 산업전시회 및 판촉활동에 적극 참여하여 보다 많은 고객군 발굴에 노력하겠습니다. 우리는 이러한 노력을 통해 더 큰 성과를 이루고 지속적인 성장을 이룰 수 있다고 믿습니다

그림 3에서 볼 수 있듯이, 본 연구에서는 먼저 다양한 크기의 LVM의 학습 손실을 조사했습니다

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

아래 그림 4에서 볼 수 있듯이 더 큰 모델은 모든 작업에서 복잡성이 낮아 모델의 전체 성능이 다양한 다운스트림 작업으로 이전될 수 있음을 나타냅니다.

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

그림 5에 표시된 것처럼 각 데이터 구성 요소는 다운스트림 작업에 중요한 영향을 미칩니다. LVM은 더 큰 데이터의 이점을 누릴 뿐만 아니라 데이터 세트의 다양성으로 인해 향상됩니다

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

원래 의미를 변경하지 않고 내용을 다시 작성하려면 언어를 중국어로 다시 작성해야 합니다. 원래 문장이 나타나야 합니다

LVM의 다양한 프롬프트 이해 능력을 테스트하기 위해 본 연구에서는 먼저 LVM에서 시퀀스 추론 작업에 대한 평가 실험을 수행했습니다. 그중 프롬프트는 매우 간단합니다. 모델에 7개의 이미지 시퀀스를 제공하고 다음 이미지를 예측하도록 요청합니다. 실험 결과는 아래 그림 6과 같이 다시 작성되어야 합니다.

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

연구에서는 또한 카테고리의 항목 목록 이를 시퀀스로 처리하고 LVM이 동일한 카테고리의 이미지를 예측하도록 합니다. 실험 결과는 아래 그림 15와 같이 다시 작성되어야 합니다. 후속 프레임을 예측하시겠습니까?

이 연구에서는 다양한 길이(1~15프레임)의 상황별 프롬프트를 제공하여 모델의 프레임 생성 복잡성을 평가합니다. 결과는 프레임 수가 증가함에 따라 Perplexity가 점차 개선되는 것을 보여줍니다. 구체적인 데이터는 아래 그림 7에 나와 있습니다. Perplexity는 프레임 1에서 프레임 11까지 크게 개선된 후 안정화되었습니다(62.1 → 48.4)UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

Analogy Prompt

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

이 연구에서는 LVM 설명의 고급 수준도 테스트했습니다.

아래 그림 8은 여러 작업에 대한 유추 프롬프트의 질적 결과를 보여줍니다.

시각적 프롬프트와의 비교를 바탕으로 시퀀스 LVM을 볼 수 있습니다. 거의 모든 작업에서 이전 방법보다 더 나은 성능을 발휘합니다

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

합성 작업. 그림 9는 단일 프롬프트를 사용하여 여러 작업을 결합한 결과를 보여줍니다.

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

기타 프롬프트

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

연구원들은 이전에 비즈니스에서 볼 수 없었던 다양한 프롬프트를 제공하여 모델의 크기 조정을 관찰하려고 했습니다. 우리는 새로운 시장 기회를 찾아야 합니다. 우리는 증가하는 수요를 충족시키기 위해 제품 라인을 더욱 확장할 계획입니다. 동시에 마케팅 전략을 강화하고 브랜드 인지도를 높이겠습니다. 산업전시회 및 판촉활동에 적극 참여하여 보다 많은 고객군 발굴에 노력하겠습니다. 우리는 이러한 노력을 통해 더 큰 성공과 지속적인 성장을 이룰 수 있다고 믿습니다. 아래 그림 10에서는 이러한 프롬프트 중 일부가 잘 작동하는 것을 보여줍니다.

아래 그림 11은 말로 설명하기 어려운 몇 가지 프롬프트를 보여 주며 결국 이러한 작업에서 LVM보다 뛰어난 성능을 발휘할 수 있습니다.

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

그림 13은 비언어적 인간 IQ 테스트에서 일반적인 시각적 추론 문제에 대한 예비 정성적 결과를 보여줍니다.

UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.

자세한 내용은 원본 기사를 읽어보세요.

위 내용은 UC Berkeley는 대규모의 일반 시각적 추론 모델을 성공적으로 개발했으며, 세 명의 선임 학자가 힘을 합쳐 연구에 참여했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

'Defect Spectrum'은 기존 결함 감지의 경계를 뛰어넘어 초고정밀 및 풍부한 의미론적 산업 결함 감지를 최초로 달성합니다. 'Defect Spectrum'은 기존 결함 감지의 경계를 뛰어넘어 초고정밀 및 풍부한 의미론적 산업 결함 감지를 최초로 달성합니다. Jul 26, 2024 pm 05:38 PM

현대 제조업에서 정확한 결함 검출은 제품 품질을 보장하는 열쇠일 뿐만 아니라 생산 효율성을 향상시키는 핵심이기도 합니다. 그러나 기존 결함 감지 데이터세트는 실제 적용에 필요한 정확성과 의미론적 풍부함이 부족한 경우가 많아 모델이 특정 결함 카테고리나 위치를 식별할 수 없게 됩니다. 이 문제를 해결하기 위해 광저우 과학기술대학교와 Simou Technology로 구성된 최고 연구팀은 산업 결함에 대한 상세하고 의미론적으로 풍부한 대규모 주석을 제공하는 "DefectSpectrum" 데이터 세트를 혁신적으로 개발했습니다. 표 1에서 볼 수 있듯이, 다른 산업 데이터 세트와 비교하여 "DefectSpectrum" 데이터 세트는 가장 많은 결함 주석(5438개의 결함 샘플)과 가장 상세한 결함 분류(125개의 결함 카테고리)를 제공합니다.

NVIDIA 대화 모델 ChatQA는 버전 2.0으로 발전했으며 컨텍스트 길이는 128K로 언급되었습니다. NVIDIA 대화 모델 ChatQA는 버전 2.0으로 발전했으며 컨텍스트 길이는 128K로 언급되었습니다. Jul 26, 2024 am 08:40 AM

오픈 LLM 커뮤니티는 백개의 꽃이 피어 경쟁하는 시대입니다. Llama-3-70B-Instruct, QWen2-72B-Instruct, Nemotron-4-340B-Instruct, Mixtral-8x22BInstruct-v0.1 등을 보실 수 있습니다. 훌륭한 연기자. 그러나 GPT-4-Turbo로 대표되는 독점 대형 모델과 비교하면 개방형 모델은 여전히 ​​많은 분야에서 상당한 격차를 보이고 있습니다. 일반 모델 외에도 프로그래밍 및 수학을 위한 DeepSeek-Coder-V2, 시각 언어 작업을 위한 InternVL과 같이 핵심 영역을 전문으로 하는 일부 개방형 모델이 개발되었습니다.

Google AI가 IMO 수학 올림피아드 은메달을 획득하고 수학적 추론 모델 AlphaProof가 출시되었으며 강화 학습이 다시 시작되었습니다. Google AI가 IMO 수학 올림피아드 은메달을 획득하고 수학적 추론 모델 AlphaProof가 출시되었으며 강화 학습이 다시 시작되었습니다. Jul 26, 2024 pm 02:40 PM

AI의 경우 수학 올림피아드는 더 이상 문제가 되지 않습니다. 목요일에 Google DeepMind의 인공 지능은 AI를 사용하여 올해 국제 수학 올림피아드 IMO의 실제 문제를 해결하는 위업을 달성했으며 금메달 획득에 한 걸음 더 다가섰습니다. 지난 주 막 끝난 IMO 대회에는 대수학, 조합론, 기하학, 수론 등 6개 문제가 출제됐다. 구글이 제안한 하이브리드 AI 시스템은 4문제를 맞혀 28점을 얻어 은메달 수준에 이르렀다. 이달 초 UCLA 종신 교수인 테렌스 타오(Terence Tao)가 상금 100만 달러의 AI 수학 올림피아드(AIMO Progress Award)를 추진했는데, 예상외로 7월 이전에 AI 문제 해결 수준이 이 수준으로 향상됐다. IMO에서 동시에 질문을 해보세요. 가장 정확하게 하기 어려운 것이 IMO인데, 역사도 가장 길고, 규모도 가장 크며, 가장 부정적이기도 합니다.

대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다. 대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다. Jul 25, 2024 am 06:42 AM

편집자 |ScienceAI 질문 응답(QA) 데이터 세트는 자연어 처리(NLP) 연구를 촉진하는 데 중요한 역할을 합니다. 고품질 QA 데이터 세트는 모델을 미세 조정하는 데 사용될 수 있을 뿐만 아니라 LLM(대형 언어 모델)의 기능, 특히 과학적 지식을 이해하고 추론하는 능력을 효과적으로 평가하는 데에도 사용할 수 있습니다. 현재 의학, 화학, 생물학 및 기타 분야를 포괄하는 과학적인 QA 데이터 세트가 많이 있지만 이러한 데이터 세트에는 여전히 몇 가지 단점이 있습니다. 첫째, 데이터 형식이 비교적 단순하고 대부분이 객관식 질문이므로 평가하기 쉽지만 모델의 답변 선택 범위가 제한되고 모델의 과학적 질문 답변 능력을 완전히 테스트할 수 없습니다. 이에 비해 개방형 Q&A는

자연의 관점: 의학 분야의 인공지능 테스트는 혼란에 빠졌습니다. 어떻게 해야 할까요? 자연의 관점: 의학 분야의 인공지능 테스트는 혼란에 빠졌습니다. 어떻게 해야 할까요? Aug 22, 2024 pm 04:37 PM

Editor | ScienceAI 제한된 임상 데이터를 기반으로 수백 개의 의료 알고리즘이 승인되었습니다. 과학자들은 누가 도구를 테스트해야 하며 최선의 방법은 무엇인지에 대해 토론하고 있습니다. 데빈 싱(Devin Singh)은 응급실에서 오랜 시간 치료를 기다리던 중 심장마비를 겪는 소아환자를 목격했고, 이를 계기로 대기시간을 단축하기 위해 AI 적용을 모색하게 됐다. SickKids 응급실의 분류 데이터를 사용하여 Singh과 동료들은 잠재적인 진단을 제공하고 테스트를 권장하는 일련의 AI 모델을 구축했습니다. 한 연구에 따르면 이러한 모델은 의사 방문 속도를 22.3% 단축하여 의료 검사가 필요한 환자당 결과 처리 속도를 거의 3시간 단축할 수 있는 것으로 나타났습니다. 그러나 인공지능 알고리즘의 연구 성공은 이를 입증할 뿐이다.

수백만 개의 결정 데이터로 훈련하여 결정학적 위상 문제를 해결하는 딥러닝 방법인 PhAI가 Science에 게재되었습니다. 수백만 개의 결정 데이터로 훈련하여 결정학적 위상 문제를 해결하는 딥러닝 방법인 PhAI가 Science에 게재되었습니다. Aug 08, 2024 pm 09:22 PM

Editor |KX 오늘날까지 단순한 금속부터 큰 막 단백질에 이르기까지 결정학을 통해 결정되는 구조적 세부 사항과 정밀도는 다른 어떤 방법과도 비교할 수 없습니다. 그러나 가장 큰 과제인 소위 위상 문제는 실험적으로 결정된 진폭에서 위상 정보를 검색하는 것입니다. 덴마크 코펜하겐 대학의 연구원들은 결정 위상 문제를 해결하기 위해 PhAI라는 딥러닝 방법을 개발했습니다. 수백만 개의 인공 결정 구조와 그에 상응하는 합성 회절 데이터를 사용하여 훈련된 딥러닝 신경망은 정확한 전자 밀도 맵을 생성할 수 있습니다. 연구는 이 딥러닝 기반의 순순한 구조 솔루션 방법이 단 2옹스트롬의 해상도로 위상 문제를 해결할 수 있음을 보여줍니다. 이는 원자 해상도에서 사용할 수 있는 데이터의 10~20%에 해당하는 반면, 기존의 순순한 계산은

SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합 SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합 Jul 17, 2024 pm 06:37 PM

Editor | KX 약물 연구 및 개발 분야에서 단백질과 리간드의 결합 친화도를 정확하고 효과적으로 예측하는 것은 약물 스크리닝 및 최적화에 매우 중요합니다. 그러나 현재 연구에서는 단백질-리간드 상호작용에서 분자 표면 정보의 중요한 역할을 고려하지 않습니다. 이를 기반으로 Xiamen University의 연구자들은 처음으로 단백질 표면, 3D 구조 및 서열에 대한 정보를 결합하고 교차 주의 메커니즘을 사용하여 다양한 양식 특징을 비교하는 새로운 다중 모드 특징 추출(MFE) 프레임워크를 제안했습니다. 조정. 실험 결과는 이 방법이 단백질-리간드 결합 친화도를 예측하는 데 있어 최첨단 성능을 달성한다는 것을 보여줍니다. 또한 절제 연구는 이 프레임워크 내에서 단백질 표면 정보와 다중 모드 기능 정렬의 효율성과 필요성을 보여줍니다. 관련 연구는 "S"로 시작된다

텍스트 다루기, 위치 지정 및 분할 작업을 담당하는 Zhiyuan과 홍콩 중국인이 공동으로 최초의 다기능 3D 의료 다중 모드 대형 모델을 제안했습니다. 텍스트 다루기, 위치 지정 및 분할 작업을 담당하는 Zhiyuan과 홍콩 중국인이 공동으로 최초의 다기능 3D 의료 다중 모드 대형 모델을 제안했습니다. Jun 22, 2024 am 07:16 AM

저자 | 편집자 홍콩 중문 대학교 | ScienceAI 최근 홍콩 중문 대학교와 Zhiyuan은 3D 의료 이미지를 홍보하기 위해 M3D-Data, M3D-LaMed 및 M3D-Bench를 포함한 M3D 시리즈 작업을 제안했습니다. 데이터 세트, 모델 및 평가의 모든 측면에서 분석 개발. (1) M3D-Data는 현재 M3D-Cap(120K3D 이미지 및 텍스트 쌍), M3D-VQA(510K 질문 및 답변 쌍), M3D-Seg(150K3DMask), M3D-RefSeg( 3K 추론 세분화) 총 4개의 하위 데이터 세트. (2) M3D-LaMed는 현재 가장 다재다능한 3D 의료용 다중 모드 대형 모델입니다.

See all articles