기술 주변기기 일체 포함 CMU Zhu Junyan 팀은 다양한 AI 생성 모델의 장단점을 평가하기 위해 자동 매칭 순위 시스템을 개발했습니다.

CMU Zhu Junyan 팀은 다양한 AI 생성 모델의 장단점을 평가하기 위해 자동 매칭 순위 시스템을 개발했습니다.

May 09, 2023 pm 09:09 PM
ai 모델

이 기사는 Lei Feng.com에서 복제되었습니다. 재인쇄가 필요한 경우 Lei Feng.com 공식 웹사이트로 이동하여 승인을 신청하세요.

최근 생성 AI가 큰 인기를 끌고 있으며, 새로운 사전 훈련된 이미지 생성 모델이 너무 많아 보기만 해도 어지러울 정도입니다. 인물 사진, 풍경 사진, 만화, 특정 아티스트 스타일의 요소 등 각 모델에는 뛰어난 성능을 발휘하는 사진이 있습니다.

모델이 너무 많은데, 여러분의 창의적인 욕구를 충족시킬 수 있는 최고의 모델을 어떻게 빨리 찾을 수 있나요?

최근 카네기 멜론 대학교 조교수 Zhu Junyan 등이 클릭 한 번으로 가장 일치하는 깊이 영상 생성 모델을 검색할 수 있는 콘텐츠 기반 모델 검색 알고리즘을 최초로 제안했습니다.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

논문 주소: https://arxiv.org/pdf/2210.03116.pdf

On Modelverse는 이러한 모델 검색 세트를 기반으로 팀이 개발한 온라인 모델 공유 및 검색 플랫폼입니다. 알고리즘을 사용하면 텍스트, 이미지, 스케치 및 특정 모델을 입력하여 가장 일치하거나 유사한 관련 모델을 검색할 수 있습니다.

Modelverse 플랫폼 주소: https://modelverse.cs.cmu.edu/

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

캡션: 텍스트(예: "아프리카 동물"), 이미지(예: 풍경 사진) 입력 ) , 스케치(예: 서 있는 고양이 스케치) 또는 특정 모델을 사용하여 관련 모델 중 상위 순위에 있는 모델(두 번째 행, 세 번째 행)을 출력합니다.

예를 들어 "얼굴"이라는 텍스트를 입력하면 결과가 표시됩니다.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

고양이 이미지 입력 ​​:

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

말 스케치 입력 :

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

1 콘텐츠 기반 모델 검색

기존 멀티미디어와 동일 검색, 모델 검색은 사용자가 특정 요구 사항에 가장 적합한 모델을 찾는 데 도움이 될 수 있습니다. 그러나 콘텐츠 기반 모델 검색 작업에는 고유한 특별한 어려움이 있습니다.

모델이 특정 이미지를 생성할 수 있는지 여부를 결정하는 것은 상대적으로 어려운 계산 문제이며, 많은 심층 생성 모델은 밀도를 추정하는 효과적인 방법을 제공하지 않습니다. 자체적으로 모달간 유사성을 평가하는 것은 지원되지 않습니다. Monte Carlo의 샘플링 기반 방법은 모델 검색 프로세스를 매우 느리게 만듭니다.

이를 위해 Zhu Junyan 팀은 새로운 모델 검색 시스템을 제안했습니다.

각 생성 모델은 이미지 분포를 생성하므로 저자는 모델이 주어진 쿼리와 일치하는 항목을 생성할 확률을 최대화하기 위한 최적화로 검색 문제에 접근합니다. 아래 그림과 같이 시스템은 사전 캐싱 단계(a, b)와 추론 단계(c)로 구성됩니다.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

캡션: 모델 검색 방법 개요

모델 세트가 주어지면 (a) 먼저 각 모델에 대해 50K 샘플을 생성한 다음 (b) 이미지를 이미지 특징으로 인코딩하고 먼저 계산합니다. - 그리고 각 모델에 대한 2차 고유통계. 효율성을 높이기 위해 통계가 시스템에 캐시됩니다. (c) 추론 단계 동안 이미지, 스케치, 텍스트 설명, 다른 생성 모델 또는 이러한 쿼리 유형의 조합을 포함하여 다양한 양식의 쿼리가 지원됩니다. 저자는 여기서 쿼리가 특징 벡터로 인코딩되고 쿼리 특징과 각 모델 통계 간의 유사성을 평가하여 가장 유사한 측정값을 가진 모델이 검색되는 근사치를 소개합니다.

2 모델 검색 효과

저자는 알고리즘을 평가하고 133개의 심층 생성 모델(GAN, 확산 모델, 자기회귀 모델 포함)에 대한 절제 실험 분석을 수행했습니다. Monte Carlo 기준선과 비교할 때 이 방법은 높은 정확도 를 유지하면서 0.08 밀리초 이내에 5배의 속도 향상으로 보다 효율적인 검색을 달성할 수 있습니다.

모델 검색 결과를 비교함으로써 어떤 모델이 다양한 쿼리 입력에 대해 더 높은 품질의 이미지를 생성할 수 있는지에 대한 대략적인 아이디어도 얻을 수 있습니다. 예를 들어, 아래 그림은 모델 검색 결과를 비교한 것입니다.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

그림: 모델 검색 결과의 예

맨 윗줄은 이미지 쿼리, 정물화 입력, 관련 예술 스타일의 모델 검색, 1위 StyleGAN2 모델 가져오기 및 마지막 순위의 Vision 지원 GAN 모델. 가운데 행은 스케치 쿼리, 말과 교회의 스케치 입력, ADM, ProGAN 등의 모델 가져오기입니다. 결론은 "안경을 쓴 사람"과 "말하는 새"를 입력하여 각각 최상위 GANSketch 모델과 Self-Distilled GAN 모델을 검색하는 텍스트 쿼리입니다.

저자는 또한 다양한 네트워크 기능 공간에서 모델 성능에 차이가 있음을 발견했습니다. 아래 그림과 같이 이미지 쿼리를 입력할 때 CLIP, DINO 및 Inception 세 네트워크의 성능이 모두 비슷한 것으로 나타났습니다. 쿼리를 사용하면 예술적 스타일 모델에서 더 나은 성능을 발휘합니다.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

캡션: 다양한 네트워크 기능 공간에서 이미지 기반 모델 검색과 스케치 기반 모델 검색 비교

또한 본 연구에서 제안된 모델 검색 알고리즘은 다음을 포함한 다양한 응용 프로그램을 지원할 수도 있습니다. 다중 양식 동적 사용자 쿼리, 유사 모델 쿼리, 실제 이미지 재구성 및 편집 등

예를 들어, 다중 모드 쿼리는 "Nicolas Cage" 이미지만 있는 경우 얼굴 모델만 검색할 수 있지만 "Nicolas Cage"와 "dog"이 모두 검색되는 경우 모델 검색을 세분화하는 데 도움이 될 수 있습니다. 입력으로 사용하면 "Nicolas Cage dog" 이미지를 생성할 수 있는 StyleGAN-NADA 모델을 검색할 수 있습니다. (아래 그림 참조)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

캡션: 다중 모달 사용자 쿼리

입력이 얼굴 모델인 경우 더 많은 얼굴 생성 모델을 검색할 수 있으며 카테고리는 유사하게 유지됩니다. (아래 그림 참조)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

Caption: 유사 모델 쿼리

실제 얼굴에 대한 쿼리 이미지가 주어지면 상위 모델을 사용하면 보다 정확한 이미지 재구성을 얻을 수 있습니다. 아래 그림은 서로 다른 순위 모델을 이용하여 CelebA-HQ와 LSUN교회 이미지를 이미지 역매핑한 예입니다.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

캡션: 검색된 StyleGAN2 모델에 실제 이미지를 투영합니다.

실제 이미지를 편집하는 작업에서는 모델마다 성능도 다릅니다. 아래 그림에서는 최상위 이미지 기반 모델 검색 알고리즘을 사용하여 실제 이미지를 역 매핑한 후 GANspace를 사용하여 편집하여 우키요에 이미지의 찡그린 얼굴을 웃는 얼굴로 변환합니다.

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

캡션: 실제 이미지 편집

이 연구를 통해 모델 검색의 타당성이 입증되었으며, 텍스트, 오디오 또는 기타 콘텐츠에서 생성된 모델 검색에 대한 연구 공간은 여전히 ​​많습니다.

그러나 현재 본 연구에서 제안하는 방법에는 여전히 일정한 한계가 있습니다. 예를 들어, 특정 스케치를 쿼리할 때 추상적 형태의 모델이 일치되는 경우도 있고, 다중 모드 쿼리를 수행하는 경우 단일 모델만 검색할 수 있어 시스템이 개와 같은 이미지를 처리하는 데 어려움을 겪을 수도 있습니다. "와 같은 대규모 다중 모드 쿼리입니다. (아래 그림 참조)

AI 生成模型五花八门,谁好谁坏?CMU 朱俊彦团队推出自动匹配排名系统

참고: 실패 사례

또한 모델 검색 플랫폼에서는 검색된 모델 목록이 이미지 생성 시 등 효과에 따라 자동으로 정렬되지 않습니다. 해상도, 충실도, 매칭 등의 측면에서 다양한 모델의 순위를 매깁니다. 이를 통해 사용자는 현재 생성된 모델의 장단점을 더 쉽게 검색하고 더 잘 이해할 수 있습니다. 우리는 이 분야의 후속 작업을 기대합니다. .

위 내용은 CMU Zhu Junyan 팀은 다양한 AI 생성 모델의 장단점을 평가하기 위해 자동 매칭 순위 시스템을 개발했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

통화 서클 시장의 실시간 데이터에 대한 상위 10 개 무료 플랫폼 권장 사항이 출시됩니다. 통화 서클 시장의 실시간 데이터에 대한 상위 10 개 무료 플랫폼 권장 사항이 출시됩니다. Apr 22, 2025 am 08:12 AM

초보자에게 적합한 cryptocurrency 데이터 플랫폼에는 CoinmarketCap 및 비소 트럼펫이 포함됩니다. 1. CoinmarketCap은 초보자 및 기본 분석 요구에 대한 글로벌 실시간 가격, 시장 가치 및 거래량 순위를 제공합니다. 2. 비소 인용문은 중국 사용자가 저 위험 잠재적 프로젝트를 신속하게 선별하는 데 적합한 중국 친화적 인 인터페이스를 제공합니다.

OKX 온라인 OKX Exchange 공식 웹 사이트 온라인 OKX 온라인 OKX Exchange 공식 웹 사이트 온라인 Apr 22, 2025 am 06:45 AM

OKX Exchange의 상세한 도입은 다음과 같습니다. 1) 개발 기록 : 2017 년에 설립되었으며 2022 년에 OKX로 이름이 바뀌 었습니다. 2) 세이셸에 본사를 둔; 3) 비즈니스 범위는 다양한 거래 제품을 포괄하며 350 개 이상의 암호 화폐를 지원합니다. 4) 사용자는 수천만 명 이상의 사용자와 함께 200 개 이상의 국가에 퍼져 있습니다. 5) 사용자 자산을 보호하기 위해 여러 보안 조치가 채택됩니다. 6) 거래 수수료는 시장 제조업체 모델을 기준으로하며 거래량이 증가함에 따라 수수료율은 감소합니다. 7) "올해의 암호 화폐 교환"과 같은 많은 영예를 얻었습니다.

주요 가상 통화 거래 플랫폼을위한 특별 서비스 목록 주요 가상 통화 거래 플랫폼을위한 특별 서비스 목록 Apr 22, 2025 am 08:09 AM

기관 투자자는 Coinbase Pro 및 Genesis Trading과 같은 준수 플랫폼을 선택하여 냉장 저장 비율 및 감사 투명성에 중점을 두어야합니다. 소매 투자자는 사용자 경험과 보안에 중점을 둔 Binance 및 Huobi와 같은 대규모 플랫폼을 선택해야합니다. 규정 준수에 민감한 영역의 사용자는 Circle Trade 및 Huobi Global을 통해 Fiat 통화 거래를 수행 할 수 있으며 Mainland Chinese 사용자는 규정을받는 처방전없이 구입할 수있는 채널을 통과해야합니다.

대량 거래를위한 가상 통화 거래 플랫폼 10 위 대량 거래를위한 가상 통화 거래 플랫폼 10 위 Apr 22, 2025 am 08:18 AM

대량 거래 플랫폼을 선택할 때 다음 요소를 고려해야합니다. 1. 유동성 : 평균 일일 거래량이 50 억 달러 이상인 플랫폼에 우선 순위가 부여됩니다. 2. 규정 준수 : 플랫폼이 미국의 Fincen과 같은 라이센스, 유럽 연합의 Mica와 같은 라이센스를 보유하고 있는지 확인하십시오. 3. 보안 : 콜드 지갑 저장 비율 및 보험 메커니즘이 핵심 지표입니다. 4. 서비스 기능 : 독점 계정 관리자 및 맞춤형 트랜잭션 도구를 제공할지 여부.

여러 통화를 지원하는 10 개의 가상 통화 거래 플랫폼 목록 여러 통화를 지원하는 10 개의 가상 통화 거래 플랫폼 목록 Apr 22, 2025 am 08:15 AM

OKX 및 Coinbase와 같은 준수 플랫폼에 우선 순위가 부여되어 다중 인자 검증이 가능하며 자산 셀프 사용량은 의존성을 줄일 수 있습니다. 1. 규제 라이센스와의 교환을 선택하십시오. 2. 2FA의 화이트리스트와 인출을 켜십시오. 3. 하드웨어 지갑 또는 자기 사용을 지원하는 플랫폼을 사용하십시오.

디지털 통화 거래 앱에 쉽게 액세스 할 수 있도록 추천 상위 10 개 (25의 최신 순위) 디지털 통화 거래 앱에 쉽게 액세스 할 수 있도록 추천 상위 10 개 (25의 최신 순위) Apr 22, 2025 am 07:45 AM

Gate.io (글로벌 버전) 핵심 장점은 인터페이스가 미니멀리스트이고 중국어를 지원하며 피아트 통화 트랜잭션 프로세스는 직관적이라는 것입니다. Binance (단순화 된 버전) 핵심 장점은 세계의 거래량이 세계 최초이며 간단한 버전 모델은 스팟 거래 만 유지한다는 것입니다. OKX (홍콩 버전) 핵심 장점은 인터페이스가 간단하고 광동어/만다린을 지원하며 파생 거래에 대한 임계 값이 낮다는 것입니다. Huobi Global Station (홍콩 버전) 핵심 장점은 기존 교환이며 메타 우주 거래 터미널을 시작한다는 것입니다. Kucoin (Chinese Community Edition) 핵심 장점은 800 개의 통화를 지원하고 인터페이스는 WeChat 상호 작용을 채택한다는 것입니다. 크라켄 (홍콩 버전) 핵심 장점은 홍콩 SVF 라이센스를 보유한 오래된 미국 교환이며 간단한 인터페이스를 가지고 있다는 것입니다. Hashkey Exchange (Hong Kong Licensed) Core Advantage는 홍콩에서 잘 알려진 라이센스 교환으로 법을지지합니다.

통화 서클 2025의 상위 10 개 시장 웹 사이트에 대한 팁 및 권장 사항 통화 서클 2025의 상위 10 개 시장 웹 사이트에 대한 팁 및 권장 사항 Apr 22, 2025 am 08:03 AM

국내 사용자 적응 솔루션에는 규정 준수 채널 및 현지화 도구가 포함됩니다. 1. 규정 준수 채널 : 국내에서 Circle Trade와 같은 OTC 플랫폼을 통한 프랜차이즈 환전. 홍콩 또는 해외 플랫폼을 통과해야합니다. 2. 현지화 도구 : 통화 서클 네트워크를 사용하여 중국 정보를 얻고 Huobi Global Station은 메타 우주 거래 터미널을 제공합니다.

디지털 환전 앱 용 상위 10 대 애플 버전 다운로드 포털 요약 디지털 환전 앱 용 상위 10 대 애플 버전 다운로드 포털 요약 Apr 22, 2025 am 09:27 AM

다양한 복잡한 거래 도구 및 시장 분석을 제공합니다. 이 회사는 100 개 이상의 국가를 다루고 있으며 평균 일일 파생 상품 거래량은 300 억 달러 이상이며 300 개가 넘는 거래 쌍과 200 배의 레버리지를 지원하며, 기술 강도가 강하고, 글로벌 사용자 기반, 전문적인 거래 플랫폼, 안전한 스토리지 솔루션 및 풍부한 거래 쌍을 제공합니다.

See all articles