CMU Zhu Junyan 팀은 다양한 AI 생성 모델의 장단점을 평가하기 위해 자동 매칭 순위 시스템을 개발했습니다.
이 기사는 Lei Feng.com에서 복제되었습니다. 재인쇄가 필요한 경우 Lei Feng.com 공식 웹사이트로 이동하여 승인을 신청하세요.
최근 생성 AI가 큰 인기를 끌고 있으며, 새로운 사전 훈련된 이미지 생성 모델이 너무 많아 보기만 해도 어지러울 정도입니다. 인물 사진, 풍경 사진, 만화, 특정 아티스트 스타일의 요소 등 각 모델에는 뛰어난 성능을 발휘하는 사진이 있습니다.
모델이 너무 많은데, 여러분의 창의적인 욕구를 충족시킬 수 있는 최고의 모델을 어떻게 빨리 찾을 수 있나요?
최근 카네기 멜론 대학교 조교수 Zhu Junyan 등이 클릭 한 번으로 가장 일치하는 깊이 영상 생성 모델을 검색할 수 있는 콘텐츠 기반 모델 검색 알고리즘을 최초로 제안했습니다.
논문 주소: https://arxiv.org/pdf/2210.03116.pdf
On Modelverse는 이러한 모델 검색 세트를 기반으로 팀이 개발한 온라인 모델 공유 및 검색 플랫폼입니다. 알고리즘을 사용하면 텍스트, 이미지, 스케치 및 특정 모델을 입력하여 가장 일치하거나 유사한 관련 모델을 검색할 수 있습니다.
Modelverse 플랫폼 주소: https://modelverse.cs.cmu.edu/
캡션: 텍스트(예: "아프리카 동물"), 이미지(예: 풍경 사진) 입력 ) , 스케치(예: 서 있는 고양이 스케치) 또는 특정 모델을 사용하여 관련 모델 중 상위 순위에 있는 모델(두 번째 행, 세 번째 행)을 출력합니다.
예를 들어 "얼굴"이라는 텍스트를 입력하면 결과가 표시됩니다.
고양이 이미지 입력 :
말 스케치 입력 :
1 콘텐츠 기반 모델 검색
기존 멀티미디어와 동일 검색, 모델 검색은 사용자가 특정 요구 사항에 가장 적합한 모델을 찾는 데 도움이 될 수 있습니다. 그러나 콘텐츠 기반 모델 검색 작업에는 고유한 특별한 어려움이 있습니다.
모델이 특정 이미지를 생성할 수 있는지 여부를 결정하는 것은 상대적으로 어려운 계산 문제이며, 많은 심층 생성 모델은 밀도를 추정하는 효과적인 방법을 제공하지 않습니다. 자체적으로 모달간 유사성을 평가하는 것은 지원되지 않습니다. Monte Carlo의 샘플링 기반 방법은 모델 검색 프로세스를 매우 느리게 만듭니다.
이를 위해 Zhu Junyan 팀은 새로운 모델 검색 시스템을 제안했습니다.
각 생성 모델은 이미지 분포를 생성하므로 저자는 모델이 주어진 쿼리와 일치하는 항목을 생성할 확률을 최대화하기 위한 최적화로 검색 문제에 접근합니다. 아래 그림과 같이 시스템은 사전 캐싱 단계(a, b)와 추론 단계(c)로 구성됩니다.
캡션: 모델 검색 방법 개요
모델 세트가 주어지면 (a) 먼저 각 모델에 대해 50K 샘플을 생성한 다음 (b) 이미지를 이미지 특징으로 인코딩하고 먼저 계산합니다. - 그리고 각 모델에 대한 2차 고유통계. 효율성을 높이기 위해 통계가 시스템에 캐시됩니다. (c) 추론 단계 동안 이미지, 스케치, 텍스트 설명, 다른 생성 모델 또는 이러한 쿼리 유형의 조합을 포함하여 다양한 양식의 쿼리가 지원됩니다. 저자는 여기서 쿼리가 특징 벡터로 인코딩되고 쿼리 특징과 각 모델 통계 간의 유사성을 평가하여 가장 유사한 측정값을 가진 모델이 검색되는 근사치를 소개합니다.
2 모델 검색 효과
저자는 알고리즘을 평가하고 133개의 심층 생성 모델(GAN, 확산 모델, 자기회귀 모델 포함)에 대한 절제 실험 분석을 수행했습니다. Monte Carlo 기준선과 비교할 때 이 방법은 높은 정확도 를 유지하면서 0.08 밀리초 이내에 5배의 속도 향상으로 보다 효율적인 검색을 달성할 수 있습니다.
모델 검색 결과를 비교함으로써 어떤 모델이 다양한 쿼리 입력에 대해 더 높은 품질의 이미지를 생성할 수 있는지에 대한 대략적인 아이디어도 얻을 수 있습니다. 예를 들어, 아래 그림은 모델 검색 결과를 비교한 것입니다.
그림: 모델 검색 결과의 예
맨 윗줄은 이미지 쿼리, 정물화 입력, 관련 예술 스타일의 모델 검색, 1위 StyleGAN2 모델 가져오기 및 마지막 순위의 Vision 지원 GAN 모델. 가운데 행은 스케치 쿼리, 말과 교회의 스케치 입력, ADM, ProGAN 등의 모델 가져오기입니다. 결론은 "안경을 쓴 사람"과 "말하는 새"를 입력하여 각각 최상위 GANSketch 모델과 Self-Distilled GAN 모델을 검색하는 텍스트 쿼리입니다.
저자는 또한 다양한 네트워크 기능 공간에서 모델 성능에 차이가 있음을 발견했습니다. 아래 그림과 같이 이미지 쿼리를 입력할 때 CLIP, DINO 및 Inception 세 네트워크의 성능이 모두 비슷한 것으로 나타났습니다. 쿼리를 사용하면 예술적 스타일 모델에서 더 나은 성능을 발휘합니다.
캡션: 다양한 네트워크 기능 공간에서 이미지 기반 모델 검색과 스케치 기반 모델 검색 비교
또한 본 연구에서 제안된 모델 검색 알고리즘은 다음을 포함한 다양한 응용 프로그램을 지원할 수도 있습니다. 다중 양식 동적 사용자 쿼리, 유사 모델 쿼리, 실제 이미지 재구성 및 편집 등
예를 들어, 다중 모드 쿼리는 "Nicolas Cage" 이미지만 있는 경우 얼굴 모델만 검색할 수 있지만 "Nicolas Cage"와 "dog"이 모두 검색되는 경우 모델 검색을 세분화하는 데 도움이 될 수 있습니다. 입력으로 사용하면 "Nicolas Cage dog" 이미지를 생성할 수 있는 StyleGAN-NADA 모델을 검색할 수 있습니다. (아래 그림 참조)
캡션: 다중 모달 사용자 쿼리
입력이 얼굴 모델인 경우 더 많은 얼굴 생성 모델을 검색할 수 있으며 카테고리는 유사하게 유지됩니다. (아래 그림 참조)
Caption: 유사 모델 쿼리
실제 얼굴에 대한 쿼리 이미지가 주어지면 상위 모델을 사용하면 보다 정확한 이미지 재구성을 얻을 수 있습니다. 아래 그림은 서로 다른 순위 모델을 이용하여 CelebA-HQ와 LSUN교회 이미지를 이미지 역매핑한 예입니다.
캡션: 검색된 StyleGAN2 모델에 실제 이미지를 투영합니다.
실제 이미지를 편집하는 작업에서는 모델마다 성능도 다릅니다. 아래 그림에서는 최상위 이미지 기반 모델 검색 알고리즘을 사용하여 실제 이미지를 역 매핑한 후 GANspace를 사용하여 편집하여 우키요에 이미지의 찡그린 얼굴을 웃는 얼굴로 변환합니다.
캡션: 실제 이미지 편집
이 연구를 통해 모델 검색의 타당성이 입증되었으며, 텍스트, 오디오 또는 기타 콘텐츠에서 생성된 모델 검색에 대한 연구 공간은 여전히 많습니다.
그러나 현재 본 연구에서 제안하는 방법에는 여전히 일정한 한계가 있습니다. 예를 들어, 특정 스케치를 쿼리할 때 추상적 형태의 모델이 일치되는 경우도 있고, 다중 모드 쿼리를 수행하는 경우 단일 모델만 검색할 수 있어 시스템이 개와 같은 이미지를 처리하는 데 어려움을 겪을 수도 있습니다. "와 같은 대규모 다중 모드 쿼리입니다. (아래 그림 참조)
참고: 실패 사례
또한 모델 검색 플랫폼에서는 검색된 모델 목록이 이미지 생성 시 등 효과에 따라 자동으로 정렬되지 않습니다. 해상도, 충실도, 매칭 등의 측면에서 다양한 모델의 순위를 매깁니다. 이를 통해 사용자는 현재 생성된 모델의 장단점을 더 쉽게 검색하고 더 잘 이해할 수 있습니다. 우리는 이 분야의 후속 작업을 기대합니다. .
위 내용은 CMU Zhu Junyan 팀은 다양한 AI 생성 모델의 장단점을 평가하기 위해 자동 매칭 순위 시스템을 개발했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제









부트 스트랩 목록의 크기는 목록 자체가 아니라 목록이 포함 된 컨테이너의 크기에 따라 다릅니다. Bootstrap의 그리드 시스템 또는 Flexbox를 사용하면 컨테이너의 크기를 제어하여 목록 항목을 간접적으로 크기로 조정할 수 있습니다.

부트 스트랩의 중첩 목록은 스타일을 제어하기 위해 부트 스트랩의 그리드 시스템을 사용해야합니다. 먼저 외부 층을 사용하십시오 & lt; ul & gt; 및 & lt; li & gt; 목록을 만들려면 & lt; div class = "row & gt; & lt; div class = "col-md-6"& gt; & gt; 내부 레이어 목록에 내부 레이어 목록이 행 너비의 절반을 차지하도록 지정합니다. 이런 식으로 내부 목록은 올바른 목록을 가질 수 있습니다.

부트 스트랩 목록에 아이콘을 추가하는 방법 : 아이콘을 목록 항목에 직접 제정하십시오. 부트 스트랩 클래스를 사용하여 아이콘과 텍스트를 정렬하십시오 (예 : d-flex, 정당화-콘텐츠 중간, 정렬 중심). 부트 스트랩 태그 구성 요소 (배지)를 사용하여 숫자 또는 상태를 표시하십시오. 아이콘 위치를 조정하십시오 (Flex Direction : Row-Reverse;), 스타일을 제어 (CSS 스타일). 일반적인 오류 : 아이콘이 표시되지 않습니다 (아닙니다

표준 JSON 문자열의 경우 vue.js의 객체로 문자열을 변환 할 때 JSON.PARSE ()가 선호됩니다. 비표준 JSON 문자열의 경우, 정규 표현식을 사용하여 문자열을 처리하고 형식 또는 디코딩 된 URL 인코딩에 따라 방법을 줄일 수 있습니다. 문자열 형식에 따라 적절한 방법을 선택하고 버그를 피하기 위해 보안 및 인코딩 문제에주의를 기울이십시오.

Bootstrap의 메쉬 시스템은 컨테이너 (컨테이너), 행 (행) 및 col (열)의 세 가지 주요 클래스로 구성된 반응 형 레이아웃을 빠르게 구축하기위한 규칙입니다. 기본적으로 12 열 그리드가 제공되며 각 열의 너비는 COL-MD-와 같은 보조 클래스를 통해 조정하여 다양한 화면 크기에 대한 레이아웃 최적화를 달성 할 수 있습니다. 오프셋 클래스와 중첩 메시를 사용하면 레이아웃 유연성을 확장 할 수 있습니다. 그리드 시스템을 사용하는 경우 각 요소에 올바른 중첩 구조가 있는지 확인하고 성능 최적화를 고려하여 페이지 로딩 속도를 향상시킵니다. 심층적 인 이해와 실습에 의해서만 부트 스트랩 그리드 시스템을 능숙하게 마스터 할 수 있습니다.

부트 스트랩 5 목록 스타일 변경은 주로 세부 사항 최적화 및 시맨틱 개선으로 인한 것입니다. 다음을 포함한 시맨틱 개선으로 인한 것입니다. 변절되지 않은 목록의 기본 마진은 단순화되고 시각적 효과는 더 깨끗하고 깔끔합니다. 목록 스타일은 의미론을 강조하여 접근성과 유지 관리를 향상시킵니다.

Bootstrap 자체는 직접 수직 목록 기능을 제공하지 않으며 메커니즘을 사용하여 영리하게 구현해야합니다. Flexbox : 목록 상위 컨테이너에 "D-Flex Flex-Column"클래스를 수직으로 목록 항목을 배열하십시오. 래스터 시스템과 결합 : 복잡한 콘텐츠가 포함 된 목록 항목의 열 폭을 설정하고 레이아웃을보다 세밀하게 제어하십시오. 플로팅 또는 포지셔닝 방법을 사용하지 않기 위해 Bootstrap의 래스터 코어 "행"및 "Col"클래스를 사용하도록주의하십시오.

질문 : 내보내기 기본값을 통해 내보낸 VUE 구성 요소를 등록하는 방법은 무엇입니까? 답변 : 세 가지 등록 방법이 있습니다 : 글로벌 등록 : vue.component () 메소드를 사용하여 글로벌 구성 요소로 등록하십시오. 로컬 등록 : 현재 구성 요소 및 하위 구성 요소에서만 사용할 수있는 구성 요소 옵션에 등록하십시오. 동적 등록 : vue.component () 메소드를 사용하여 구성 요소가로드 된 후 등록하십시오.
