DALL-E와 Flamingo는 서로를 이해할 수 있을까요? 사전 훈련된 3개의 SOTA 신경망이 이미지와 텍스트를 통합합니다.
다중 모드 연구의 중요한 목표는 이미지와 텍스트를 이해하는 기계의 능력을 향상시키는 것입니다. 특히, 연구자들은 두 모델 간의 의미 있는 의사소통을 어떻게 달성할 수 있는지에 대해 많은 노력을 기울여 왔습니다. 예를 들어, 이미지 캡션 생성은 이미지의 의미적 내용을 사람이 이해할 수 있는 일관된 텍스트로 변환할 수 있어야 합니다. 대조적으로, 텍스트-이미지 생성 모델은 텍스트 설명의 의미를 활용하여 사실적인 이미지를 생성할 수도 있습니다.
이것은 의미론과 관련된 몇 가지 흥미로운 질문으로 이어집니다. 주어진 이미지에 대해 어떤 텍스트 설명이 이미지를 가장 정확하게 설명합니까? 마찬가지로 주어진 텍스트에 대해 이미지를 구현하는 가장 의미 있는 방법은 무엇입니까? 첫 번째 질문과 관련하여 일부 연구에서는 최상의 이미지 설명은 자연스럽고 시각적 콘텐츠를 복원할 수 있는 정보여야 한다고 주장합니다. 두 번째 질문은 의미 있는 이미지가 고품질이어야 하고, 다양해야 하며, 텍스트 내용에 충실해야 합니다.
어쨌든 인간의 의사소통을 기반으로 하는 텍스트-이미지 생성 모델 및 이미지-텍스트 생성 모델과 관련된 대화형 작업은 가장 정확한 이미지-텍스트 쌍을 선택하는 데 도움이 될 수 있습니다.
그림 1에서 볼 수 있듯이 첫 번째 작업에서는 이미지-텍스트 모델이 정보 발신자이고 텍스트-이미지 모델이 정보 수신자입니다. 발신자의 목표는 자연어를 사용하여 이미지의 내용을 수신자에게 전달하여 수신자가 언어를 이해하고 사실적인 시각적 표현을 재구성하는 것입니다. 수신자가 원본 이미지 정보를 높은 충실도로 재구성할 수 있으면 정보가 성공적으로 전송되었음을 나타냅니다. 연구자들은 이렇게 생성된 텍스트 설명이 최적이며, 이를 통해 생성된 이미지도 원본 이미지와 가장 유사하다고 생각합니다.
이 규칙은 사람들이 의사소통을 위해 언어를 사용하는 방식에서 영감을 받았습니다. 다음과 같은 상황을 상상해 보십시오. 긴급 출동 장면에서 경찰은 전화를 통해 교통사고 발생 상황과 부상자 상태를 파악합니다. 이는 본질적으로 현장에서 목격자가 이미지를 설명하는 과정을 포함합니다. 경찰은 적절한 구조 활동을 조직하기 위해 구두 설명을 바탕으로 환경 현장을 정신적으로 재구성해야 합니다. 분명히 최고의 텍스트 설명은 장면 재구성에 대한 최고의 가이드가 되어야 합니다.
두 번째 작업에는 텍스트 재구성이 포함됩니다. 텍스트-이미지 모델은 메시지 발신자가 되고, 이미지-텍스트 모델은 메시지 수신자가 됩니다. 두 모델이 텍스트 수준에서 정보의 내용에 동의하면 정보를 전달하는 데 사용되는 이미지 매체는 원본 텍스트를 재현하는 최적의 이미지입니다.
이 기사에서 뮌헨 대학교, 지멘스 및 기타 기관의 연구원들이 제안한 방법은 에이전트 간의 커뮤니케이션과 밀접한 관련이 있습니다. 언어는 에이전트 간에 정보를 교환하는 주요 방법입니다. 하지만 첫 번째 에이전트와 두 번째 에이전트가 고양이가 무엇인지, 개가 무엇인지에 대해 동일한 이해를 갖고 있는지 어떻게 확신할 수 있습니까?
문서 주소: https://arxiv.org/pdf/2212.12249.pdf
이 기사에서 탐구하려는 아이디어는 첫 번째 에이전트가 이미지를 분석하고 설명을 생성하도록 하는 것입니다. 이미지 텍스트를 입력하면 두 번째 에이전트가 텍스트를 가져와 이를 기반으로 이미지를 시뮬레이션합니다. 그 중 후자의 과정은 구체화의 과정으로 볼 수 있다. 본 연구에서는 두 번째 에이전트가 시뮬레이션한 이미지가 첫 번째 에이전트가 수신한 입력 이미지와 유사하면 의사소통이 성공적이라고 믿습니다(그림 1 참조).
실험에서 본 연구에서는 기성 모델을 사용했으며, 특히 최근에 개발된 대규모 사전 훈련 모델을 사용했습니다. 예를 들어 Flamingo와 BLIP은 이미지를 기반으로 텍스트 설명을 자동으로 생성할 수 있는 이미지 설명 모델입니다. 마찬가지로, 이미지-텍스트 쌍에 대해 학습된 이미지 생성 모델은 DALL-E 모델 및 SD(Latent Diffusion) 모델과 같이 텍스트의 깊은 의미를 이해하고 고품질 이미지를 합성할 수 있습니다.
또한 연구에서는 CLIP 모델을 활용하여 이미지나 텍스트를 비교합니다. CLIP은 공유된 임베딩 공간에서 이미지와 텍스트를 매핑하는 시각적 언어 모델입니다. 이 연구에서는 생성된 텍스트의 품질을 평가하기 위해 COCO 및 NoCaps와 같이 수동으로 생성된 이미지 텍스트 데이터세트를 사용합니다. 이미지 및 텍스트 생성 모델에는 분포에서 샘플링을 허용하는 확률론적 구성 요소가 있으므로 다양한 후보 텍스트 및 이미지 중에서 가장 좋은 것을 선택할 수 있습니다. 이미지 설명 모델에는 커널 샘플링을 포함한 다양한 샘플링 방법이 사용될 수 있으며, 이 기사에서는 커널 샘플링을 기본 모델로 사용하여 이 기사에서 사용된 방법의 우수성을 보여줍니다.
방법 개요
이 문서의 프레임워크는 세 가지 사전 훈련된 SOTA 신경망으로 구성됩니다. 첫째, 이미지-텍스트 생성 모델, 둘째, 텍스트-이미지 생성 모델, 셋째, 이미지 또는 텍스트를 의미적 임베딩에 매핑할 수 있는 이미지 인코더와 텍스트 인코더로 구성된 다중 모드 표현 모델입니다.
텍스트 설명을 통한 이미지 재구성
그림 2의 왼쪽 부분에 표시된 것처럼 이미지 재구성 작업은 언어를 지침으로 사용하여 원본 이미지를 재구성하는 것입니다. 최적의 텍스트 생성을 위해 소스 장면에 대한 설명을 홍보합니다. 먼저 소스 이미지 x가 BLIP 모델에 입력되어 여러 후보 텍스트 y_k를 생성합니다. 예를 들어, 붉은 팬더는 숲에서 나뭇잎을 먹습니다. 생성된 텍스트 후보 세트는 C로 표시되고 텍스트 y_k가 SD 모델로 전송되어 이미지 x'_k를 생성합니다. 여기서 x'_k는 레서판다를 기반으로 생성된 이미지를 의미합니다. 그 후, CLIP 이미지 인코더를 사용하여 소스 및 생성된 이미지에서 및
의미론적 특징을 추출합니다.
그런 다음 후보 텍스트 설명 y_s를 찾는 목적으로 이 두 임베딩 벡터 간의 코사인 유사성을 계산합니다. 즉,
여기서 s는 소스 이미지에 가장 가까운 이미지 인덱스입니다.
이 연구에서는 CIDEr(Image Description Metric)를 사용하고 사람의 주석을 참조하여 최고의 텍스트를 평가합니다. 우리는 생성된 텍스트의 품질에 관심이 있으므로 본 연구에서는 BLIP 모델을 대략 동일한 길이의 텍스트를 출력하도록 설정했습니다. 텍스트의 길이는 이미지에 전달될 수 있는 정보의 양과 긍정적인 상관관계가 있으므로 상대적으로 공정한 비교가 가능합니다. 이 작업 중에는 모든 모델이 동결되며 미세 조정이 수행되지 않습니다.
이미지에서 텍스트 재구성
그림 2의 오른쪽 부분은 이전 섹션에서 설명한 프로세스의 반대 프로세스를 보여줍니다. BLIP 모델은 텍스트에 액세스할 수 있지만 콘텐츠를 이미지 형식으로만 렌더링할 수 있는 SD에 의해 안내되는 소스 텍스트를 추측해야 합니다. 프로세스는 SD를 사용하여 텍스트 y에 대한 후보 이미지 x_k를 생성하는 것으로 시작하고 결과 후보 이미지 세트는 K로 표시됩니다. SD를 사용하여 이미지를 생성하려면 무작위 샘플링 프로세스가 필요하며, 각 생성 프로세스는 거대한 픽셀 공간에서 서로 다른 유효한 이미지 샘플로 끝날 수 있습니다. 이러한 샘플링 다양성은 최상의 이미지를 필터링할 수 있는 후보 풀을 제공합니다. 그 후, BLIP 모델은 각 샘플링 이미지 x_k에 대해 텍스트 설명 y'_k를 생성합니다. 여기서 y'_k는 A red panda is creeping in the Forest의 초기 텍스트를 나타냅니다. 그런 다음 연구에서는 CLIP 텍스트 인코더를 사용하여 각각 및
로 표시되는 소스 텍스트와 생성된 텍스트의 특징을 추출합니다. 이 작업의 목적은 텍스트 y의 의미와 일치하는 최상의 후보 이미지 x_s를 찾는 것입니다. 이를 위해 연구는 생성된 텍스트와 입력 텍스트 사이의 거리를 비교한 다음 쌍을 이루는 텍스트 거리가 가장 작은 이미지, 즉
연구에서는 이미지 x_s가 텍스트 설명을 가장 잘 묘사합니다. 정보 손실을 최소화하면서 수신자에게 콘텐츠를 전달할 수 있기 때문입니다. 또한, 연구에서는 텍스트 y에 해당하는 이미지 를 y의 참조 표현으로 취급하고 참조 이미지에 대한 근접성을 최고의 이미지로 정량화합니다.
실험 결과
그림 3의 왼쪽 차트는 두 데이터 세트의 이미지 재구성 품질과 설명 텍스트 품질 간의 상관 관계를 보여줍니다. 주어진 각 이미지에 대해 재구성된 이미지 품질(x축에 표시)이 좋을수록 텍스트 설명 품질(y축에 표시)도 좋아집니다.
그림 3의 오른쪽 그래프는 복구된 텍스트 품질과 생성된 이미지 품질 간의 관계를 보여줍니다. 주어진 각 텍스트에 대해 재구성된 텍스트 설명(x축에 표시)이 좋을수록 이미지 품질( y축에 표시됨)이 더 좋습니다.
그림 4(a)와 (b)는 소스 이미지를 기반으로 이미지 재구성 품질과 평균 텍스트 품질 간의 관계를 보여줍니다. 그림 4(c)와 (d)는 텍스트 거리와 재구성된 이미지 품질 간의 상관 관계를 보여줍니다.
표 1은 연구의 샘플링 방법이 모든 지표에서 커널 샘플링보다 성능이 뛰어나고 모델의 상대적 이득이 7.7%까지 높을 수 있음을 보여줍니다.
그림 5는 두 가지 재구성 작업의 질적 예를 보여줍니다.
위 내용은 DALL-E와 Flamingo는 서로를 이해할 수 있을까요? 사전 훈련된 3개의 SOTA 신경망이 이미지와 텍스트를 통합합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.

본 논문에서는 자율 주행에서 다양한 시야각(예: 원근 및 조감도)에서 객체를 정확하게 감지하는 문제, 특히 원근(PV) 공간에서 조감(BEV) 공간으로 기능을 효과적으로 변환하는 방법을 탐구합니다. VT(Visual Transformation) 모듈을 통해 구현됩니다. 기존 방법은 크게 2D에서 3D로, 3D에서 2D로 변환하는 두 가지 전략으로 나뉩니다. 2D에서 3D로의 방법은 깊이 확률을 예측하여 조밀한 2D 특징을 개선하지만, 특히 먼 영역에서는 깊이 예측의 본질적인 불확실성으로 인해 부정확성이 발생할 수 있습니다. 3D에서 2D로의 방법은 일반적으로 3D 쿼리를 사용하여 2D 기능을 샘플링하고 Transformer를 통해 3D와 2D 기능 간의 대응에 대한 주의 가중치를 학습하므로 계산 및 배포 시간이 늘어납니다.
