목차
Δ갈색 텍스트는 두 이미지를 구별하는 핵심 디테일입니다
CLIP 긴 텍스트 기능 잠금 해제
입력 길이를 확장하고 긴 텍스트의 기능을 향상시키는 간단한 방법은 먼저 위치 인코딩을 고정 비율 λ
긴 텍스트 미세 조정만 도입하면 모델이 또 다른 오해, 즉 모든 세부 사항을 동일하게 포함하게 됩니다. 이 문제를 해결하기 위해 연구자들은 미세 조정 시 핵심 속성 정렬 전략을 도입했습니다.
이미지 및 텍스트 검색, 이미지 생성 및 기타 분야에서 Long-CLIP은 플러그 앤 플레이가 가능합니다. CLIP을 대체하기 위해 플레이하세요.
기술 주변기기 일체 포함 Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.

Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.

Apr 01, 2024 am 09:26 AM
액자 ai

CLIP 긴 텍스트 기능이 잠금 해제되고 이미지 검색 작업 성능이 크게 향상되었습니다!

일부 주요 세부정보도 캡처할 수 있습니다. Shanghai Jiao Tong University와 Shanghai AI Laboratory는 새로운 프레임워크인 Long-CLIP을 제안했습니다.

Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.

Δ갈색 텍스트는 두 이미지를 구별하는 핵심 디테일입니다

Long-CLIP은 CLIP의 원래 기능 공간을 유지하는 데 기반을 두고 있으며 이미지 생성과 같은 다운스트림 작업에서 플러그 앤 플레이를 통해 미세한 결과를 얻을 수 있습니다. 긴 텍스트의 세분화된 이미지 생성 .

긴 텍스트 이미지 검색이 20% 증가하고, 짧은 텍스트 이미지 검색이 6% 증가했습니다.

CLIP 긴 텍스트 기능 잠금 해제

CLIP은 시각적 및 텍스트 양식을 정렬하고 강력한 제로샷 일반화 기능을 갖추고 있습니다. 따라서 CLIP은 이미지 분류, 텍스트 이미지 검색, 이미지 생성 등과 같은 다양한 다중 모드 작업에 널리 사용됩니다.

하지만 CLIP의 가장 큰 단점은 긴 텍스트 기능이 부족하다는 것입니다.

우선 절대 위치 인코딩을 사용하기 때문에 CLIP의 텍스트 입력 길이는 토큰 677개로 제한됩니다. 뿐만 아니라, CLIP의 실제 유효 길이는 토큰 20개 미만이라는 사실이 실험을 통해 입증되었습니다. 이는 세밀한 정보를 표현하기에는 턱없이 부족합니다. 그러나 이러한 한계를 극복하기 위해 연구자들은 해결책을 제안했다. 텍스트 입력에 특정 태그를 도입함으로써 모델은 중요한 부분에 집중할 수 있습니다. 입력에서 이러한 토큰의 위치와 수는 사전에 결정되며 20개 토큰을 초과하지 않습니다. 이러한 방식으로 CLIP은 텍스트 입력을 처리할 수 있습니다. 텍스트 측면에 긴 텍스트가 없으면 시각적 측면의 기능도 제한됩니다. 짧은 텍스트만 포함되어 있기 때문에 CLIP의 시각적 인코더는 이미지의 가장 중요한 구성 요소만 추출하고 다양한 세부 사항은 무시합니다. 이는

교차 모달 검색

과 같은 세분화된 작업에 매우 해롭습니다. 동시에 긴 텍스트가 부족하여 CLIP은 인과 추론과 같은 복잡한 기능이 없는 BOF(Bag of Feature)와 유사한 간단한 모델링 방법을 채택합니다.

이 문제를 해결하기 위해 연구자들은 Long-CLIP 모델을 제안했습니다.

두 가지 주요 전략을 구체적으로 제안했습니다. 위치 임베딩의 지식 보존 확장과 핵심 구성 요소 정렬(기본 구성 요소 일치)을 추가하는 미세 조정 전략입니다. Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.
지식 보존 위치 인코딩 확장

입력 길이를 확장하고 긴 텍스트의 기능을 향상시키는 간단한 방법은 먼저 위치 인코딩을 고정 비율 λ

1

으로 보간한 다음 긴 텍스트를 통해 미세 조정하는 것입니다. 텍스트. 연구원들은 CLIP의 다양한 위치 인코딩의 훈련 정도가 다르다는 것을 발견했습니다. 학습 텍스트는 주로 짧은 텍스트일 가능성이 높으므로 낮은 위치 코딩은 더 완전히 학습되어 절대 위치를 정확하게 나타낼 수 있는 반면, 높은 위치 코딩은 대략적인 상대 위치만 나타낼 수 있습니다. 따라서 서로 다른 위치에서 코드를 보간하는 비용이 다릅니다.

위의 관찰을 바탕으로 연구원은 처음 20개의 위치 코드를 유지하고 나머지 57개의 위치 코드에 대해 더 큰 비율 λ

2

로 보간되었습니다. 계산 공식은 다음과 같이 표현될 수 있습니다.
실험은 다음과 같습니다. 직접 보간에 비해 이 전략은 더 긴 전체 길이를 지원하면서 다양한 작업의 성능을 크게 향상시킬 수 있습니다. Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.
핵심 속성 정렬 미세 조정 추가

긴 텍스트 미세 조정만 도입하면 모델이 또 다른 오해, 즉 모든 세부 사항을 동일하게 포함하게 됩니다. 이 문제를 해결하기 위해 연구자들은 미세 조정 시 핵심 속성 정렬 전략을 도입했습니다.

구체적으로, 연구자들은 주성분 분석(PCA) 알고리즘을 사용하여 세밀한 이미지 특징에서 핵심 속성을 추출하고, 나머지 속성을 필터링하여 거친 이미지 특징을 재구성한 후 요약된 짧은 텍스트와 비교했습니다. 이 전략에서는 모델이 더 많은 세부 정보(세밀한 정렬)를 포함할 뿐만 아니라 가장 핵심 속성(핵심 구성 요소 추출 및 대략적인 정렬)을 식별하고 모델링해야 합니다.

Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.Δ핵심 속성 정렬의 미세 조정 프로세스 추가

다양한 멀티모달 작업에서 플러그 앤 플레이

이미지 및 텍스트 검색, 이미지 생성 및 기타 분야에서 Long-CLIP은 플러그 앤 플레이가 가능합니다. CLIP을 대체하기 위해 플레이하세요.

예를 들어, 이미지 및 텍스트 검색에서 Long-CLIP은 이미지 및 텍스트 모드에서 보다 세밀한 정보를 캡처할 수 있으므로 유사한 이미지와 텍스트를 구별하는 능력이 향상되고 이미지 및 텍스트 검색 성능이 크게 향상됩니다.

기존의 짧은 텍스트 검색(COCO, Flickr30k)이든 긴 텍스트 검색 작업이든 Long-CLIP은 회상률을 크게 향상시켰습니다.

Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.

△짧은 텍스트-이미지 검색 실험 결과

Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.

△긴 텍스트-이미지 검색 실험 결과

Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.

△긴 텍스트-이미지 검색 시각화, 갈색 텍스트는 둘을 구별하는 주요 세부 사항입니다. Pictures

또한 CLIP의 텍스트 인코더는 stable 확산 계열 등 텍스트-이미지 생성 모델에 자주 사용됩니다. 그러나 긴 텍스트 기능이 부족하기 때문에 이미지를 생성하는 데 사용되는 텍스트 설명은 일반적으로 매우 짧으며 다양한 세부 사항으로 사용자 정의할 수 없습니다.

Long-CLIP은 77개의 토큰 제한을 돌파하고 챕터 수준의 이미지 생성을 달성할 수 있습니다(오른쪽 아래).

세밀한 이미지 생성을 위해 77개의 토큰 내에서 더 많은 세부 사항을 모델링할 수도 있습니다(오른쪽 위).

Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.

문서 링크:https://arxiv.org/abs/2403.15378
코드 링크:https://github.com/beichenzbc/Long-CLIP

위 내용은 Shanghai Jiao Tong University의 새로운 프레임워크는 CLIP 긴 텍스트 기능을 잠금 해제하고 다중 모드 생성의 세부 사항을 파악하며 이미지 검색 기능을 크게 향상시킵니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Laravel 's geospatial : 대화식지도의 최적화 및 많은 양의 데이터 Laravel 's geospatial : 대화식지도의 최적화 및 많은 양의 데이터 Apr 08, 2025 pm 12:24 PM

7 백만 레코드를 효율적으로 처리하고 지리 공간 기술로 대화식지도를 만듭니다. 이 기사는 Laravel과 MySQL을 사용하여 7 백만 개 이상의 레코드를 효율적으로 처리하고 대화식지도 시각화로 변환하는 방법을 살펴 봅니다. 초기 챌린지 프로젝트 요구 사항 : MySQL 데이터베이스에서 7 백만 레코드를 사용하여 귀중한 통찰력을 추출합니다. 많은 사람들이 먼저 프로그래밍 언어를 고려하지만 데이터베이스 자체를 무시합니다. 요구 사항을 충족시킬 수 있습니까? 데이터 마이그레이션 또는 구조 조정이 필요합니까? MySQL이 큰 데이터로드를 견딜 수 있습니까? 예비 분석 : 주요 필터 및 속성을 식별해야합니다. 분석 후, 몇 가지 속성만이 솔루션과 관련이 있음이 밝혀졌습니다. 필터의 타당성을 확인하고 검색을 최적화하기위한 제한 사항을 설정했습니다. 도시를 기반으로 한지도 검색

MySQL을 해결하는 방법을 시작할 수 없습니다 MySQL을 해결하는 방법을 시작할 수 없습니다 Apr 08, 2025 pm 02:21 PM

MySQL 시작이 실패하는 데는 여러 가지 이유가 있으며 오류 로그를 확인하여 진단 할 수 있습니다. 일반적인 원인에는 포트 충돌 (포트 점유 체크 및 구성 수정), 권한 문제 (서비스 실행 사용자 권한 실행), 구성 파일 오류 (파라미터 설정 확인), 데이터 디렉토리 손상 (데이터 복원 또는 테이블 공간 재건), IBDATA 테이블 공간 문제 (IBDATA1 파일 확인), 플러그로드 (확인 오류 로그)가 포함됩니다. 문제를 해결할 때 오류 로그를 기반으로 문제를 분석하고 문제의 근본 원인을 찾고 문제를 방지하고 해결하기 위해 정기적으로 데이터를 백업하는 습관을 개발해야합니다.

설치 후 MySQL을 사용하는 방법 설치 후 MySQL을 사용하는 방법 Apr 08, 2025 am 11:48 AM

이 기사는 MySQL 데이터베이스의 작동을 소개합니다. 먼저 MySQLworkBench 또는 명령 줄 클라이언트와 같은 MySQL 클라이언트를 설치해야합니다. 1. MySQL-Uroot-P 명령을 사용하여 서버에 연결하고 루트 계정 암호로 로그인하십시오. 2. CreateABase를 사용하여 데이터베이스를 작성하고 데이터베이스를 선택하십시오. 3. CreateTable을 사용하여 테이블을 만들고 필드 및 데이터 유형을 정의하십시오. 4. InsertInto를 사용하여 데이터를 삽입하고 데이터를 쿼리하고 업데이트를 통해 데이터를 업데이트하고 DELETE를 통해 데이터를 삭제하십시오. 이러한 단계를 마스터하고 일반적인 문제를 처리하는 법을 배우고 데이터베이스 성능을 최적화하면 MySQL을 효율적으로 사용할 수 있습니다.

원격 선임 백엔드 엔지니어 (플랫폼)에는 원이 필요합니다 원격 선임 백엔드 엔지니어 (플랫폼)에는 원이 필요합니다 Apr 08, 2025 pm 12:27 PM

원격 선임 백엔드 엔지니어 구직 회사 : 원 위치 : 원격 사무실 직무 유형 : 전임 급여 : $ 130,000- $ 140,000 직무 설명 전체 소프트웨어 개발 라이프 사이클을 다루는 Circle Mobile 애플리케이션 및 공개 API 관련 기능의 연구 및 개발에 참여합니다. 주요 책임은 독립적으로 Rubyonrails를 기반으로 개발 작업을 완료하고 React/Redux/Relay 프론트 엔드 팀과 협력합니다. 웹 애플리케이션의 핵심 기능 및 개선을 구축하고 기능 설계 프로세스 전반에 걸쳐 설계자 및 리더십과 긴밀히 협력하십시오. 긍정적 인 개발 프로세스를 촉진하고 반복 속도를 우선시하십시오. 6 년 이상의 복잡한 웹 애플리케이션 백엔드가 필요합니다.

MySQL이 JSON을 반환 할 수 있습니다 MySQL이 JSON을 반환 할 수 있습니다 Apr 08, 2025 pm 03:09 PM

MySQL은 JSON 데이터를 반환 할 수 있습니다. json_extract 함수는 필드 값을 추출합니다. 복잡한 쿼리의 경우 where 절을 사용하여 JSON 데이터를 필터링하지만 성능 영향에주의하십시오. JSON에 대한 MySQL의 지원은 지속적으로 증가하고 있으며 최신 버전 및 기능에주의를 기울이는 것이 좋습니다.

MySQL의 주요 키는 Null 일 수 있습니다 MySQL의 주요 키는 Null 일 수 있습니다 Apr 08, 2025 pm 03:03 PM

기본 키는 데이터베이스의 각 행을 고유하게 식별하는 키 속성이기 때문에 MySQL 기본 키는 비어있을 수 없습니다. 기본 키가 비어 있으면 레코드를 고유하게 식별 할 수 없으므로 데이터 혼동으로 이어질 수 있습니다. 자체 점수 정수 열 또는 UUID를 기본 키로 사용하는 경우 효율성 및 우주 점유와 같은 요소를 고려하고 적절한 솔루션을 선택해야합니다.

산성 특성 이해 : 신뢰할 수있는 데이터베이스의 기둥 산성 특성 이해 : 신뢰할 수있는 데이터베이스의 기둥 Apr 08, 2025 pm 06:33 PM

데이터베이스 산 속성에 대한 자세한 설명 산 속성은 데이터베이스 트랜잭션의 신뢰성과 일관성을 보장하기위한 일련의 규칙입니다. 데이터베이스 시스템이 트랜잭션을 처리하는 방법을 정의하고 시스템 충돌, 전원 중단 또는 여러 사용자의 동시 액세스가 발생할 경우에도 데이터 무결성 및 정확성을 보장합니다. 산 속성 개요 원자력 : 트랜잭션은 불가분의 단위로 간주됩니다. 모든 부분이 실패하고 전체 트랜잭션이 롤백되며 데이터베이스는 변경 사항을 유지하지 않습니다. 예를 들어, 은행 송금이 한 계정에서 공제되지만 다른 계정으로 인상되지 않은 경우 전체 작업이 취소됩니다. BeginTransaction; updateAccountssetBalance = Balance-100WH

마스터 SQL 한계 절 항의 : 쿼리의 행 수 제어 마스터 SQL 한계 절 항의 : 쿼리의 행 수 제어 Apr 08, 2025 pm 07:00 PM

sqllimit 절 : 쿼리 결과의 행 수를 제어하십시오. SQL의 한계 절은 쿼리에서 반환 된 행 수를 제한하는 데 사용됩니다. 이것은 대규모 데이터 세트, 페이지 진화 디스플레이 및 테스트 데이터를 처리 할 때 매우 유용하며 쿼리 효율성을 효과적으로 향상시킬 수 있습니다. 구문의 기본 구문 : SelectColumn1, Collect2, ... Fromtable_namelimitnumber_of_rows; 번호_of_rows : 반환 된 행 수를 지정하십시오. 오프셋이있는 구문 : SelectColumn1, Column2, ... Fromtable_namelimitOffset, number_of_rows; 오프셋 : skip

See all articles