목차
GAN은 죽었습니다. , 확산 모델은 살아있습니다
Framework
실험 및 영향
기술 주변기기 일체 포함 HKUST 및 MSRA 연구: 이미지 간 변환과 관련하여 미세 조정만 있으면 됩니다.

HKUST 및 MSRA 연구: 이미지 간 변환과 관련하여 미세 조정만 있으면 됩니다.

May 04, 2023 pm 11:10 PM
영상 모델 기차

港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need

많은 콘텐츠 제작 프로젝트에서는 단순한 스케치를 사실적인 그림으로 변환해야 하며, 여기에는 이미지 대 이미지 변환이 포함됩니다. 여기에는 심층 생성 모델을 사용하여 분산된 입력이 주어진 자연스러운 그림의 조건을 학습합니다.

이미지-이미지 변환의 기본 개념은 사전 훈련된 신경망을 활용하여 자연스러운 이미지 다양체를 캡처하는 것입니다. 이미지 변환은 다양체를 탐색하고 실행 가능한 입력 의미 지점을 찾는 것과 유사합니다. 시스템은 잠재 공간의 모든 샘플링에서 안정적인 출력을 제공하기 위해 많은 이미지를 사용하여 합성 네트워크를 사전 훈련합니다. 사전 훈련된 합성 네트워크를 통해 다운스트림 훈련은 사용자 입력을 모델의 잠재 표현에 맞게 조정합니다.

수년에 걸쳐 우리는 많은 작업별 방법이 SOTA 수준에 도달하는 것을 보아왔지만 현재 솔루션은 여전히 ​​실제 사용을 위한 고화질 이미지를 생성하는 데 어려움을 겪고 있습니다.

港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need

홍콩 과학기술대학교와 Microsoft Research Asia의 연구원들은 최근 논문에서 사전 훈련이 이미지를 이미지로 변환하는 데 필요한 전부라고 믿습니다. 이전 방법에는 전문적인 아키텍처 설계가 필요하고 단일 변환 모델을 처음부터 훈련해야 하므로 특히 쌍을 이루는 훈련 데이터가 부족한 경우 복잡한 장면을 고품질로 생성하기가 어렵습니다.

따라서 연구원들은 각 이미지-이미지 변환 문제를 다운스트림 작업으로 처리하고 다양한 이미지-이미지 변환에 적응하기 위해 사전 훈련된 확산 모델을 채택하는 간단한 일반 프레임워크를 소개합니다. 그들은 제안된 사전 훈련된 이미지-이미지 변환 모델을 PITI(사전 훈련 기반 이미지-이미지 변환)라고 불렀습니다. 또한 연구원들은 확산 모델 훈련에서 텍스처 합성을 향상시키기 위해 적대적 훈련을 사용하고 이를 정규화된 안내 샘플링과 결합하여 생성 품질을 향상시킬 것을 제안했습니다.

마지막으로 연구원들은 ADE20K, COCO-Stuff 및 DIODE와 같은 까다로운 벤치마크에서 다양한 작업에 대한 광범위한 경험적 비교를 수행하여 PITI 합성 이미지가 전례 없는 현실감과 충실도를 나타냄을 보여주었습니다.

港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need

  • 논문 링크: https://arxiv.org/pdf/2205.12952.pdf
  • 프로젝트 홈페이지: https://tengfei-wang.github.io/PITI/index.html

GAN은 죽었습니다. , 확산 모델은 살아있습니다

특정 도메인에서 가장 잘 수행되는 GAN을 사용하는 대신 저자는 확산 모델을 사용하여 다양한 이미지를 합성합니다. 둘째, 두 가지 유형의 잠재 코드로부터 이미지를 생성해야 합니다. 하나는 시각적 의미를 설명하는 코드이고 다른 하나는 이미지 변동을 조정하는 코드입니다. 의미론적 저차원 잠재성은 다운스트림 작업에 매우 중요합니다. 그렇지 않으면 모달 입력을 복잡한 잠재 공간으로 변환하는 것이 불가능합니다. 이를 고려하여 그들은 다양한 이미지를 생성할 수 있는 데이터 기반 모델인 GLIDE를 사전 훈련된 생성 사전 모델로 사용했습니다. GLIDE는 잠재 텍스트를 사용하므로 의미론적 잠재 공간을 허용합니다.

확산 및 점수 기반 방법은 벤치마크 전체에서 생성 품질을 보여줍니다. 클래스 조건부 ImageNet에서 이러한 모델은 시각적 품질 및 샘플링 다양성 측면에서 GAN 기반 방법과 경쟁합니다. 최근 대규모 텍스트-이미지 쌍으로 훈련된 확산 모델은 놀라운 기능을 보여주었습니다. 잘 훈련된 확산 모델은 합성에 앞서 일반적인 생성을 제공할 수 있습니다.

港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need

Framework

작성자는 프리텍스트 작업을 사용하여 대량의 데이터를 사전 훈련하고 매우 의미 있는 잠재 공간을 개발하여 이미지 통계를 예측할 수 있습니다.

다운스트림 작업의 경우 의미 공간을 조건부로 미세 조정하여 작업별 환경을 매핑합니다. 기계는 사전 훈련된 정보를 기반으로 믿을 수 있는 시각적 자료를 생성합니다.

저자는 의미론적 입력을 사용하여 확산 모델을 사전 학습할 것을 권장합니다. 그들은 텍스트 조건과 이미지 훈련을 받은 GLIDE 모델을 사용했습니다. Transformer 네트워크는 텍스트 입력을 인코딩하고 확산 모델에 대한 토큰을 출력합니다. 계획대로 텍스트가 공간에 삽입되는 것이 합리적입니다.

港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need

위 사진은 작가의 작품입니다. 사전 학습된 모델은 처음부터 새로 만드는 기술에 비해 이미지 품질과 다양성을 향상시킵니다. COCO 데이터 세트에는 수많은 카테고리와 조합이 있으므로 기본 접근 방식으로는 매력적인 아키텍처로 아름다운 결과를 제공할 수 없습니다. 그들의 방법은 어려운 장면에 대해 정확한 의미를 지닌 풍부한 세부 정보를 생성할 수 있습니다. 사진은 접근 방식의 다양성을 보여줍니다.

실험 및 영향

표 1은 본 연구에서 제안한 방법의 성능이 다른 모델보다 항상 우수함을 보여줍니다. 선도적인 OASIS와 비교하여 PITI는 마스크-이미지 합성에서 FID가 크게 향상되었습니다. 또한 이 방법은 스케치-이미지 및 형상-이미지 합성 작업에서도 좋은 성능을 보여줍니다.

港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need

그림 3은 다양한 작업에 대한 본 연구의 시각화 결과를 보여줍니다. 실험에 따르면 처음부터 훈련하는 방법과 비교하여 사전 훈련된 모델은 생성된 이미지의 품질과 다양성을 크게 향상시킵니다. 본 연구에서 사용된 방법은 까다로운 생성 작업에서도 생생한 세부 정보와 올바른 의미를 생성할 수 있습니다.

港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need

이 연구는 또한 Amazon Mechanical Turk의 COCO-Stuff에 대한 마스크-이미지 합성에 대한 사용자 연구를 수행했으며, 참가자 20명으로부터 3000표를 얻었습니다. 참가자들에게는 한 번에 두 개의 이미지가 주어졌고 어느 것이 더 현실적인지에 대해 투표하도록 요청 받았습니다. 표 2에서 볼 수 있듯이, 제안된 방법은 처음부터 모델과 다른 기준선보다 훨씬 더 성능이 뛰어납니다.

港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need

조건부 이미지 합성을 통해 조건에 ​​맞는 고화질 사진을 만들어드립니다. 컴퓨터 비전 및 그래픽 분야에서는 이를 사용하여 정보를 생성하고 조작합니다. 대규모 사전 훈련은 이미지 분류, 객체 인식 및 의미론적 분할을 향상시킵니다. 알려지지 않은 것은 대규모 사전 훈련이 일반적인 생성 작업에 유익한지 여부입니다.

에너지 사용과 탄소 배출은 이미지 사전 훈련의 주요 문제입니다. 사전 훈련은 에너지 집약적이지만 한 번만 필요합니다. 조건부 미세 조정을 통해 다운스트림 작업에서 동일한 사전 훈련된 모델을 사용할 수 있습니다. 사전 훈련을 사용하면 더 적은 수의 훈련 데이터로 생성 모델을 훈련할 수 있으므로 개인 정보 보호 문제나 값비싼 주석 비용으로 인해 데이터가 제한되는 경우 이미지 합성이 향상됩니다.

위 내용은 HKUST 및 MSRA 연구: 이미지 간 변환과 관련하여 미세 조정만 있으면 됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. May 07, 2024 pm 04:13 PM

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. Jun 01, 2024 pm 10:03 PM

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | Apr 09, 2024 am 11:52 AM

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

초지능의 생명력이 깨어난다! 하지만 자동 업데이트 AI가 등장하면서 엄마들은 더 이상 데이터 병목 현상을 걱정할 필요가 없습니다. 초지능의 생명력이 깨어난다! 하지만 자동 업데이트 AI가 등장하면서 엄마들은 더 이상 데이터 병목 현상을 걱정할 필요가 없습니다. Apr 29, 2024 pm 06:55 PM

세상은 미친 듯이 큰 모델을 만들고 있습니다. 인터넷의 데이터만으로는 충분하지 않습니다. 훈련 모델은 '헝거게임'처럼 생겼고, 전 세계 AI 연구자들은 이러한 데이터를 탐식하는 사람들에게 어떻게 먹이를 줄지 고민하고 있습니다. 이 문제는 다중 모드 작업에서 특히 두드러집니다. 아무것도 할 수 없던 시기에, 중국 인민대학교 학과의 스타트업 팀은 자체 새로운 모델을 사용하여 중국 최초로 '모델 생성 데이터 피드 자체'를 현실화했습니다. 또한 이해 측면과 생성 측면의 두 가지 접근 방식으로 양측 모두 고품질의 다중 모드 새로운 데이터를 생성하고 모델 자체에 데이터 피드백을 제공할 수 있습니다. 모델이란 무엇입니까? Awaker 1.0은 중관촌 포럼에 최근 등장한 대형 멀티모달 모델입니다. 팀은 누구입니까? 소폰 엔진. 런민대학교 힐하우스 인공지능대학원 박사과정 학생인 Gao Yizhao가 설립했습니다.

Sora 'Ke Ling'의 Kuaishou 버전이 테스트용으로 공개되었습니다. 120초가 넘는 비디오를 생성하고 물리학을 더 잘 이해하며 복잡한 움직임을 정확하게 모델링할 수 있습니다. Sora 'Ke Ling'의 Kuaishou 버전이 테스트용으로 공개되었습니다. 120초가 넘는 비디오를 생성하고 물리학을 더 잘 이해하며 복잡한 움직임을 정확하게 모델링할 수 있습니다. Jun 11, 2024 am 09:51 AM

무엇? 주토피아는 국내 AI로 현실이 되는 걸까? 영상과 함께 노출된 것은 '켈링'이라는 국산 대형 영상세대 신형 모델이다. Sora는 유사한 기술 경로를 사용하고 자체 개발한 여러 기술 혁신을 결합하여 크고 합리적인 움직임뿐만 아니라 물리적 세계의 특성을 시뮬레이션하고 강력한 개념적 결합 능력과 상상력을 갖춘 비디오를 제작합니다. 데이터에 따르면 Keling은 최대 1080p의 해상도로 30fps에서 최대 2분의 초장 영상 생성을 지원하며 다양한 화면비를 지원합니다. 또 다른 중요한 점은 Keling이 실험실에서 공개한 데모나 비디오 결과 시연이 아니라 단편 비디오 분야의 선두주자인 Kuaishou가 출시한 제품 수준 애플리케이션이라는 점입니다. 더욱이 백지 작성이 아닌 실용성에 중점을 두고, 출시되자마자 온라인에 진출하는 데 중점을 두고 있다. 콰이잉에서는 커링의 대형 모델이 출시됐다.

미 공군이 주목할만한 최초의 AI 전투기를 선보였습니다! 전 과정에 걸쳐 장관이 직접 간섭 없이 테스트를 진행했고, 10만 줄의 코드를 21차례 테스트했다. 미 공군이 주목할만한 최초의 AI 전투기를 선보였습니다! 전 과정에 걸쳐 장관이 직접 간섭 없이 테스트를 진행했고, 10만 줄의 코드를 21차례 테스트했다. May 07, 2024 pm 05:00 PM

최근 군계는 미군 전투기가 이제 AI를 활용해 완전 자동 공중전을 완수할 수 있다는 소식에 충격을 받았다. 네, 얼마 전 미군의 AI 전투기가 최초로 공개되면서 그 미스터리가 드러났습니다. 이 전투기의 정식 명칭은 VISTA(Variable Stability Flight Simulator Test Aircraft)로 미 공군 장관이 직접 조종해 일대일 공중전을 모의 실험한 것이다. 5월 2일, 미 공군 장관 프랭크 켄달(Frank Kendall)이 X-62AVISTA를 타고 에드워드 공군 기지에서 이륙했습니다. 1시간의 비행 동안 모든 비행 작업은 AI에 의해 자동으로 완료되었습니다. Kendall은 "지난 수십 년 동안 우리는 자율 공대공 전투의 무한한 잠재력에 대해 생각해 왔지만 항상 도달할 수 없는 것처럼 보였습니다."라고 말했습니다. 그러나 지금은,

공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! 공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! May 06, 2024 pm 04:13 PM

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

See all articles