확산 모델을 사용하여 종이 일러스트레이션을 자동으로 생성할 수도 있으며 ICLR에서도 허용됩니다.
Generative AI는 인공 지능 커뮤니티를 휩쓸었습니다. 개인과 기업 모두 Vincent 사진, Vincent 비디오, Vincent 음악 등과 같은 관련 모달 변환 응용 프로그램을 만드는 데 열중하기 시작했습니다.
최근 ServiceNow Research, LIVIA 등 과학 연구 기관의 여러 연구자들이 텍스트 설명을 기반으로 논문에서 차트를 생성하려고 시도했습니다. 이를 위해 그들은 FigGen의 새로운 방법을 제안했고, 관련 논문도 ICLR 2023에 Tiny Paper로 포함됐다.
Pictures
문서 주소: https://arxiv.org/pdf/2306.00800.pdf
어떤 사람들은 질문할 수도 있습니다. 종이에 차트를 생성하는 것이 무엇이 그렇게 어려운가요? 이것이 과학 연구에 어떻게 도움이 됩니까?
과학 연구 차트 생성은 간결하고 이해하기 쉬운 방식으로 연구 결과를 전파하는 데 도움이 되며, 차트 자동 생성은 차트를 처음부터 디자인하는 데 많은 노력을 들이지 않고도 시간과 에너지를 절약하는 등 연구자에게 많은 이점을 제공할 수 있습니다. . 또한, 시각적으로 매력적이고 이해하기 쉬운 그림을 디자인하면 더 많은 사람들이 논문에 접근할 수 있습니다.
다이어그램을 생성하는 데에는 상자, 화살표, 텍스트 등과 같은 개별 구성요소 간의 복잡한 관계를 표현해야 하는 경우도 있습니다. 자연스러운 이미지를 생성하는 것과 달리 종이 그래프의 개념은 다르게 표현될 수 있으며 세밀한 이해가 필요할 수 있습니다. 예를 들어 신경망 그래프를 생성하려면 분산이 높은 잘못된 문제가 포함됩니다.
따라서 이 논문의 연구자들은 다이어그램 구성 요소와 논문의 해당 텍스트 간의 관계를 포착하기 위해 종이 다이어그램 쌍의 데이터 세트에 대한 생성 모델을 훈련했습니다. 이를 위해서는 다양한 길이와 고도로 기술적인 텍스트 설명, 다양한 차트 스타일, 이미지 종횡비, 텍스트 렌더링 글꼴, 크기 및 방향 문제를 처리해야 합니다.
특정 구현 과정에서 연구원들은 최근의 텍스트-이미지 결과에서 영감을 얻어 확산 모델을 사용하여 차트를 생성했습니다. 그들은 텍스트 설명에서 과학 연구 차트를 생성하기 위한 잠재적인 확산 모델인 FigGen을 제안했습니다.
이 확산 모델의 독특한 특징은 무엇입니까? 세부 사항으로 넘어 갑시다.
모델 및 방법
연구원들은 잠재 확산 모델을 처음부터 훈련했습니다.
먼저 이미지 자동 인코더를 배워 이미지를 압축된 잠재 표현으로 매핑합니다. 이미지 인코더는 KL 손실과 OCR 지각 손실을 사용합니다. 조건화에 사용되는 텍스트 인코더는 이 확산 모델의 학습에서 처음부터 끝까지 학습됩니다. 아래 표 3은 이미지 오토인코더 아키텍처의 세부 매개변수를 보여줍니다.
그런 다음 확산 모델은 잠재 공간에서 직접 상호 작용하여 데이터가 손상된 순방향 스케줄링을 수행하는 동시에 시간 및 텍스트 조건부 노이즈 제거 U-Net을 활용하여 프로세스를 복구하는 방법을 학습합니다.
데이터 세트의 경우, 연구원들은 논문의 차트-텍스트 쌍으로 구성되고 81,194개의 훈련 샘플과 21,259개의 검증 샘플을 포함하는 Paper2Fig100k를 사용했습니다. 아래 그림 1은 Paper2Fig100k 테스트 세트의 텍스트 설명을 사용하여 생성된 다이어그램의 예입니다.
모델 세부정보
첫 번째는 이미지 인코더입니다. 첫 번째 단계에서 이미지 자동 인코더는 픽셀 공간에서 압축된 잠재 표현으로의 매핑을 학습하여 확산 모델 학습을 더 빠르게 만듭니다. 또한 이미지 인코더는 다이어그램의 중요한 세부 정보(예: 텍스트 렌더링 품질)를 잃지 않고 잠재 이미지를 픽셀 공간에 다시 매핑하는 방법을 배워야 합니다.
이를 위해 연구원들은 f=8 인자에서 이미지를 다운샘플링하는 병목 현상이 있는 컨벌루션 코덱을 정의했습니다. 인코더는 가우시안 분포를 통해 KL 손실, VGG 인식 손실, OCR 인식 손실을 최소화하도록 학습되었습니다.
두 번째는 텍스트 인코더입니다. 연구원들은 범용 텍스트 인코더가 그래프 생성 작업에 적합하지 않다는 사실을 발견했습니다. 따라서 그들은 U-Net의 교차 주의 계층을 조절하는 임베딩 크기이기도 한 크기 512의 임베딩 채널을 사용하는 확산 프로세스에서 처음부터 훈련된 Bert 변환기를 정의합니다. 연구원들은 또한 다양한 설정(8, 32, 128)에서 변압기 레이어 수의 변화를 조사했습니다.
마지막은 잠재 확산 모델입니다. 아래 표 2는 U-Net의 네트워크 아키텍처를 보여준다. 우리는 지각적으로 동등한 이미지의 잠재 표현에 대해 확산 프로세스를 수행합니다. 여기서 이미지의 입력 크기는 64x64x4로 압축되어 확산 모델을 더 빠르게 만듭니다. 그들은 1,000개의 확산 단계와 선형 노이즈 스케줄링을 정의했습니다.
교육 세부 정보
연구원들은 4개 샘플의 유효 배치 크기와 4.5e −6의 학습률을 갖춘 Adam 최적화 프로그램을 사용했습니다. 4개의 12GB NVIDIA V100 그래픽 카드가 사용되었습니다. 훈련 안정성을 달성하기 위해 판별자를 사용하지 않고 50,000번의 반복으로 모델을 준비합니다.
잠재 확산 모델을 훈련하기 위해 연구원들은 유효 배치 크기가 32이고 학습률이 1e−4인 Adam 최적화 프로그램도 사용했습니다. Paper2Fig100k 데이터 세트에서 모델을 훈련할 때 80GB NVIDIA A100 그래픽 카드 8개를 사용했습니다.
실험 결과
생성 과정에서 연구진은 200단계의 DDIM 샘플러를 채택하고 각 모델별로 12,000개의 샘플을 생성하여 FID, IS, KID 및 OCR-SIM1을 계산했습니다. 하이퍼컨디셔닝을 테스트하기 위해 CFG(분류 없는 지침)를 강력하게 사용합니다.
아래 표 1은 다양한 텍스트 인코더의 결과를 보여줍니다. 큰 텍스트 인코더가 최상의 정성적 결과를 생성하고 조건 생성이 CFG의 크기를 증가시킴으로써 향상될 수 있음을 알 수 있습니다. 문제를 해결하기에는 정성적 샘플의 품질이 충분하지 않지만 FigGen은 텍스트와 이미지 간의 관계를 파악했습니다.
아래 그림 2는 CFG(Classifier Free Guidance) 매개변수를 조정할 때 생성된 추가 FigGen 샘플을 보여줍니다. 연구진은 정량적으로도 입증된 CFG의 크기를 늘리면 이미지 품질이 향상되는 것을 관찰했습니다.
Pictures
아래 그림 3은 FigGen의 더 많은 세대 예제를 보여줍니다. 샘플 간의 길이 변화와 텍스트 설명의 기술 수준에 주의하세요. 이는 모델이 이해할 수 있는 이미지를 올바르게 생성하는 난이도에 밀접한 영향을 미칩니다.
Pictures
그러나 연구원들은 생성된 차트가 논문 작성자에게 실질적인 도움을 제공할 수는 없지만 여전히 탐색할 수 있는 유망한 방향임을 인정했습니다.
자세한 연구 내용은 원본 논문을 참고해주세요.
위 내용은 확산 모델을 사용하여 종이 일러스트레이션을 자동으로 생성할 수도 있으며 ICLR에서도 허용됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











표준 JSON 문자열의 경우 vue.js의 객체로 문자열을 변환 할 때 JSON.PARSE ()가 선호됩니다. 비표준 JSON 문자열의 경우, 정규 표현식을 사용하여 문자열을 처리하고 형식 또는 디코딩 된 URL 인코딩에 따라 방법을 줄일 수 있습니다. 문자열 형식에 따라 적절한 방법을 선택하고 버그를 피하기 위해 보안 및 인코딩 문제에주의를 기울이십시오.

원격 선임 백엔드 엔지니어 구직 회사 : 원 위치 : 원격 사무실 직무 유형 : 전임 급여 : $ 130,000- $ 140,000 직무 설명 전체 소프트웨어 개발 라이프 사이클을 다루는 Circle Mobile 애플리케이션 및 공개 API 관련 기능의 연구 및 개발에 참여합니다. 주요 책임은 독립적으로 Rubyonrails를 기반으로 개발 작업을 완료하고 React/Redux/Relay 프론트 엔드 팀과 협력합니다. 웹 애플리케이션의 핵심 기능 및 개선을 구축하고 기능 설계 프로세스 전반에 걸쳐 설계자 및 리더십과 긴밀히 협력하십시오. 긍정적 인 개발 프로세스를 촉진하고 반복 속도를 우선시하십시오. 6 년 이상의 복잡한 웹 애플리케이션 백엔드가 필요합니다.

요약 : vue.js 문자열 배열을 객체 배열로 변환하는 다음 방법이 있습니다. 기본 메소드 : 정기적 인 형식의 데이터에 맞게 맵 함수를 사용하십시오. 고급 게임 플레이 : 정규 표현식을 사용하면 복잡한 형식을 처리 할 수 있지만 신중하게 작성하고 고려해야합니다. 성능 최적화 : 많은 양의 데이터를 고려하면 비동기 작업 또는 효율적인 데이터 처리 라이브러리를 사용할 수 있습니다. 모범 사례 : 명확한 코드 스타일, 의미있는 변수 이름과 주석을 사용하여 코드를 간결하게 유지하십시오.

이 기사는 MySQL 데이터베이스의 작동을 소개합니다. 먼저 MySQLworkBench 또는 명령 줄 클라이언트와 같은 MySQL 클라이언트를 설치해야합니다. 1. MySQL-Uroot-P 명령을 사용하여 서버에 연결하고 루트 계정 암호로 로그인하십시오. 2. CreateABase를 사용하여 데이터베이스를 작성하고 데이터베이스를 선택하십시오. 3. CreateTable을 사용하여 테이블을 만들고 필드 및 데이터 유형을 정의하십시오. 4. InsertInto를 사용하여 데이터를 삽입하고 데이터를 쿼리하고 업데이트를 통해 데이터를 업데이트하고 DELETE를 통해 데이터를 삭제하십시오. 이러한 단계를 마스터하고 일반적인 문제를 처리하는 법을 배우고 데이터베이스 성능을 최적화하면 MySQL을 효율적으로 사용할 수 있습니다.

7 백만 레코드를 효율적으로 처리하고 지리 공간 기술로 대화식지도를 만듭니다. 이 기사는 Laravel과 MySQL을 사용하여 7 백만 개 이상의 레코드를 효율적으로 처리하고 대화식지도 시각화로 변환하는 방법을 살펴 봅니다. 초기 챌린지 프로젝트 요구 사항 : MySQL 데이터베이스에서 7 백만 레코드를 사용하여 귀중한 통찰력을 추출합니다. 많은 사람들이 먼저 프로그래밍 언어를 고려하지만 데이터베이스 자체를 무시합니다. 요구 사항을 충족시킬 수 있습니까? 데이터 마이그레이션 또는 구조 조정이 필요합니까? MySQL이 큰 데이터로드를 견딜 수 있습니까? 예비 분석 : 주요 필터 및 속성을 식별해야합니다. 분석 후, 몇 가지 속성만이 솔루션과 관련이 있음이 밝혀졌습니다. 필터의 타당성을 확인하고 검색을 최적화하기위한 제한 사항을 설정했습니다. 도시를 기반으로 한지도 검색

vue 및 요소 -UI 계단식 드롭 다운 박스 V- 모델 바인딩 공통 핏 포인트 : V- 모델은 문자열이 아닌 계단식 선택 상자의 각 레벨에서 선택된 값을 나타내는 배열을 바인딩합니다. selectedOptions의 초기 값은 널 또는 정의되지 않은 빈 배열이어야합니다. 동적 데이터로드는 비동기식으로 데이터 업데이트를 처리하기 위해 비동기식 프로그래밍 기술을 사용해야합니다. 거대한 데이터 세트의 경우 가상 스크롤 및 게으른로드와 같은 성능 최적화 기술을 고려해야합니다.

MySQL 시작이 실패하는 데는 여러 가지 이유가 있으며 오류 로그를 확인하여 진단 할 수 있습니다. 일반적인 원인에는 포트 충돌 (포트 점유 체크 및 구성 수정), 권한 문제 (서비스 실행 사용자 권한 실행), 구성 파일 오류 (파라미터 설정 확인), 데이터 디렉토리 손상 (데이터 복원 또는 테이블 공간 재건), IBDATA 테이블 공간 문제 (IBDATA1 파일 확인), 플러그로드 (확인 오류 로그)가 포함됩니다. 문제를 해결할 때 오류 로그를 기반으로 문제를 분석하고 문제의 근본 원인을 찾고 문제를 방지하고 해결하기 위해 정기적으로 데이터를 백업하는 습관을 개발해야합니다.

MySQL 성능 최적화는 설치 구성, 인덱싱 및 쿼리 최적화, 모니터링 및 튜닝의 세 가지 측면에서 시작해야합니다. 1. 설치 후 innodb_buffer_pool_size 매개 변수와 같은 서버 구성에 따라 my.cnf 파일을 조정해야합니다. 2. 과도한 인덱스를 피하기 위해 적절한 색인을 작성하고 Execution 명령을 사용하여 실행 계획을 분석하는 것과 같은 쿼리 문을 최적화합니다. 3. MySQL의 자체 모니터링 도구 (showprocesslist, showstatus)를 사용하여 데이터베이스 건강을 모니터링하고 정기적으로 백업 및 데이터베이스를 구성하십시오. 이러한 단계를 지속적으로 최적화함으로써 MySQL 데이터베이스의 성능을 향상시킬 수 있습니다.
