ICML 2024 | 신호 표현이 기하급수적으로 향상되고 메모리 절약이 35%를 초과하며 양자 암시적 표현 네트워크가 출시됩니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

이 기사의 저자는 천진대학교 정보 컴퓨팅학과의 Zhang Peng 교수와 그의 석사 과정 학생 Zhao Jiaming 및 박사 과정입니다. Qiao Wenbo와 Gao Jue 학생. 이 연구 작업은 중국 국립 자연과학 재단과 천진대학교-중국 과학 기술 공동 연구소의 자금 지원을 받았습니다.

• 논문 제목: Quantum Implicit Neural Representations
• 논문 저자: Jiaming Zhao, Wenbo Qiao, Peng Zhang*, Hui Gao
• 논문 링크: https://arxiv.org/abs /2406.03873 introduction tianjin University Quantum Intelligence and Language Team Team 혁신적으로 양자 컴퓨팅을 암시 적 신경 표현 분야에 도입하고 양자 암시 적 표현 네트워크 (
  Q

q

q )를 제안했습니다. uantum

I

mplicit Re
presentation N

etwork,

QIREN). 전통적인 신경망 방법과 비교하여 이 방법은 이론적으로 기하급수적으로 강력한 신호 표현 기능을 제공합니다. 또한 실험 결과를 통해 QIREN이 신호 표현 작업에서 SOTA 모델을 뛰어넘는 뛰어난 성능을 발휘한다는 사실이 확인되었습니다. 더 적은 수의 매개변수로 피팅 오류가 최대 35%까지 감소합니다. 그림 1은 본 논문의 핵심 아이디어와 주요 결론을 보여줍니다. 머신러닝 분야의 가장 권위 있는 학회 중 하나인 ICML 2024에서 관련 논문이 채택되었습니다. 그림 1. 고전적 푸리에 신경망과 양자 푸리에 신경망. 최근에는 암시적 신경 표현이 새로운 신호 표현 방법으로 널리 주목을 받고 있습니다. 암시적 신경 표현은 픽셀 그리드로 표현된 이미지와 같은 기존의 개별 그리드 표현에 비해 여러 가지 고유한 장점을 가지고 있습니다. 첫째, "무한 해상도" 기능이 있어 모든 공간 해상도에서 샘플링할 수 있습니다. 둘째, 암시적 신경 표현은 저장 공간 절약이 뛰어나고 데이터 저장의 편의성을 제공합니다. 이러한 고유한 장점으로 인해 암시적 신경 표현은 이미지, 객체, 3D 장면과 같은 신호를 표현하기 위한 주류 패러다임으로 빠르게 자리 잡았습니다. 암시적 신경 표현에 대한 대부분의 초기 연구는 ReLU 기반 MLP(다층 퍼셉트론)를 기반으로 구축되었습니다. 그러나 ReLU 기반 MLP는 그림 2와 같이 신호의 고주파수 부분을 정확하게 모델링하기가 어렵습니다. 최근 연구에서는 이러한 한계를 극복하기 위해 푸리에 신경망(FNN)을 사용하는 방법을 모색하기 시작했습니다. 그러나 실제 응용 프로그램에서 점점 더 복잡해지는 피팅 작업에 직면하여 기존 푸리에 신경망에는 점점 더 많은 훈련 매개변수가 필요하며 이로 인해 컴퓨팅 리소스에 대한 수요가 증가합니다. 이 기사에서 제안된 양자 암시적 신경 표현은 양자 이점을 활용하여 매개 변수와 계산 소비를 줄입니다. 이 솔루션은 암시적 신경 표현 및 기계 학습 분야에 새로운 영감을 가져올 수 있습니다. ㅋㅋㅋ 그림 2. 실제 이미지의 다양한 주파수 구성 요소(상단)와 장착된 이미지의 다양한 주파수 구성 요소 ReLU 기반 MLP 작성(하단)

^Model

ㅋㅋ 그림 3. 모델 아키텍처

N개의 혼합 레이어와 선형 레이어로 구성 끝. 모델은 좌표를 입력으로 사용하고 신호 값을 출력합니다. 데이터는 처음에 선형 레이어와 BatchNorm 레이어로 시작하여 혼합 레이어에 들어가며 결과는 다음과 같습니다.

그런 다음 데이터 재업로드 양자 회로 QC에 공급됩니다. 그림 2(b)와 (c)에서는 매개변수 계층과 코딩 계층 양자 회로의 구체적인 구현을 제공합니다. 매개변수 레이어는 K개의 쌓인 블록으로 구성됩니다. 각 블록에는 각 큐비트에 적용되는 스핀 게이트와 라운드 로빈 방식으로 연결된 CNOT 게이트가 포함되어 있습니다. 코딩 계층은 각 큐비트에 게이트를 적용합니다. 마지막으로, 관찰 가능 항목에 대한 양자 상태의 예상 값을 측정합니다. 양자 회로의 출력은 다음과 같이 제공됩니다.

여기서 O는 모든 관찰 가능 항목을 나타냅니다. n번째 블렌딩 레이어의 출력은 (n+1)번째 레이어의 입력으로 사용됩니다. 마지막으로 수신 및 출력을 위해 선형 레이어를 추가합니다. 모델 학습을 위한 손실 함수로 평균 제곱 오차(MSE)를 사용합니다.

모델 이론적 분석

이전의 일부 연구에서 데이터 재업로드 양자 회로의 수학적 특성이 밝혀졌습니다. 본질적으로 데이터 재업로드 양자 회로는 목적 함수를 형식에 맞추는 것입니다. 푸리에 시리즈 중. 그러나 이전 연구에서는 다층 단일 큐비트 회로 또는 단일층 다중 큐비트 회로만 탐색했으며 기존 방법과 비교하지 않았으며 양자 회로를 다시 업로드하는 데이터의 장점을 찾지 못했습니다. 우리는 연구를 다층 다중 큐비트 회로로 확장합니다. 또한 암시적 신경 표현 분야에서 데이터 재업로드 양자 회로를 핵심 구성 요소로 사용하는 하이브리드 양자 신경망 QIREN이 기존 방법에 비해 기하급수적인 이점을 가지고 있음을 입증했습니다. QIREN에서 양자 계층과 고전 계층의 역할을 분석하여 다음 세 가지로 요약했습니다.

1 최적의 조건에서 양자 회로의 푸리에 계열을 표현하는 데이터 재업로드 능력은 회로의 크기가 기하급수적으로 늘어납니다.

구체적인 파생 내용은 논문의 섹션 4.2 및 4.3을 참조하세요.

2. 선형 레이어의 기능은 스펙트럼을 더욱 확장하고 주파수를 조정하여 피팅 성능을 향상시키는 것입니다.

양자 회로에 데이터를 업로드하기 전에 선형 레이어를 적용하는 것은 인코딩 레이어 해밀턴의 고유값을 조정하는 것과 동일하며 궁극적으로 스펙트럼에 영향을 미칩니다. 이 접근 방식에는 두 가지 장점이 있습니다. 첫째, 스펙트럼을 더 크게 만들 수 있습니다. 게이트만으로 인코딩할 때 스펙트럼에 일부 중복 용어가 생성됩니다. 선형 레이어를 사용하면 이러한 중복성을 줄일 수 있습니다. 둘째, 더 중요한 더 큰 계수로 주파수를 포괄하는 것을 목표로 스펙트럼의 적용 범위를 조정할 수 있습니다. 따라서 선형 레이어를 추가하면 QIREN의 피팅 성능을 더욱 향상시킬 수 있습니다.

3. Batchnorm 계층의 역할은 양자 모델의 수렴을 가속화하는 것입니다.

피드포워드 신경망에서 데이터는 일반적으로 활성화 함수 이전에 BatchNorm 레이어를 통과하므로 경사 소멸 문제를 효과적으로 방지할 수 있습니다. 마찬가지로 QIREN에서는 양자 회로가 활성화 함수를 대체하고 비선형성을 제공하는 역할을 합니다(양자 회로 자체는 선형이지만 양자 회로에 고전 데이터를 업로드하는 과정은 비선형임). 따라서 모델의 수렴을 안정화하고 가속화할 목적으로 여기에 BatchNorm 레이어를 추가했습니다.

실험 결과

이미지 표현, 사운드 표현 작업을 통해 신호, 특히 고주파 신호 표현에 있어서 QIREN의 우수한 성능을 검증했습니다. 실험 결과는 표 1에 나와 있습니다. QIREN과 SIREN은 소리 표현 과제에서 비슷한 성능을 보였습니다. 두 모델의 성능은 비슷해 보이지만 우리 모델은 가장 적은 매개변수로 35.1%의 메모리 절약을 달성하고 SIREN의 수렴에는 적절한 하이퍼 매개변수 설정이 필요하지만 우리 모델은 이러한 제한을 적용하지 않는다는 점을 강조할 가치가 있습니다. 그런 다음 빈도 관점에서 모델 출력을 분석했습니다. 그림 4에서 모델 출력의 스펙트럼을 시각화합니다. 모델에 의해 출력된 저주파 분포가 실제 상황에 가깝다는 것은 명백합니다. 그러나 고주파수 분포의 경우 QIREN과 SIREN이 모두 잘 맞고 RFF(Random Fourier Feature)가 있는 ReLU 기반 MLP가 그 뒤를 따릅니다. ReLU 기반 및 Tanh 기반 MLP에는 신호의 고주파수 부분이 부족합니다.

^{표 1. 신호 표현 및 이미지 초해상도 작업에 대한 모델의 MSE(). SOTA로 간주되는 모델에는 *가 표시되어 있습니다. params는 모델 매개변수의 양을 나타내고, mem은 이산 그리드 표현과 비교하여 모델이 절약한 메모리를 나타냅니다.任 그림 4. 작업에서 모델 출력의 스펙트럼을 나타내는 사운드 Qiren은 이미지 표현 작업에서 SOTA 모델과 비교하여 오류가 최대 34.8% 감소했습니다. 모델의 신호 표현 기능을 더 자세히 살펴보기 위해 필터를 사용하여 출력의 고주파수 및 저주파 구성요소를 분리하고 이 두 구성요소의 피팅 오류를 각각 그림 5에 표시된 결과와 비교합니다. QIREN은 고주파 및 저주파 부품을 장착할 때 지속적으로 가장 낮은 오류를 달성합니다.}

ㅋㅋ 그림 5. 그림 5. Tanh 기반 MLP와 비교한 각 모델의 오차. 음영 처리된 영역은 저주파 오류를 나타내고, 음영 처리되지 않은 영역은 고주파 오류를 나타냅니다.

최신 연구에서는 암시적 신경 표현을 이미지 생성으로 확장하는 획기적인 프레임워크를 도입했습니다. 보다 구체적으로, 프레임워크는 무작위 분포를 입력으로 사용하여 네트워크를 암시적으로 특성화하는 매개변수를 생성하는 하이퍼네트워크를 활용합니다. 그 후, 이렇게 생성된 매개변수는 암시적 표현 네트워크에 할당됩니다. 마지막으로 암시적 표현 네트워크는 좌표를 입력으로 사용하는 이미지를 생성합니다. 생성된 이미지가 원하는 결과와 일치하는지 확인하기 위해 적대적인 접근 방식이 사용됩니다. 이 작업에서는 이러한 프레임워크를 채택하고 StyleGAN2를 기반으로 구축합니다.

실험 결과는 표 2에 나와 있습니다. 또한 그림 6과 7에 표시된 대로 QIREN 생성기의 몇 가지 흥미로운 기능을 자세히 살펴봅니다. F 표 2. FFHQ 및 CELEBA-HQ 데이터 세트에 대한 모델의 FID 점수.

                                                                      ~ ~      그림 7. 의미 있는 이미지 공간 보간

summary

이 작업은 양자 이점을 암시적 신경 표현에 통합할 뿐만 아니라 양자에 대한 유망한 응용 방향을 열었습니다. 신경망 - 암시적 신경 표현. 암시적 신경 표현에는 장면이나 3D 객체 표현, 시계열 예측, 미분 방정식 풀기 등 다른 많은 잠재적인 응용 분야가 있다는 점을 강조할 가치가 있습니다. 연속 신호를 모델링하는 대규모 작업의 경우 암시적 표현 네트워크를 기본 구성 요소로 도입하는 것을 고려할 수 있습니다. 본 논문의 이론적이고 실험적인 기초를 바탕으로 우리는 향후 연구에서 QIREN을 이러한 응용 프로그램으로 확장할 수 있으며 QIREN은 이 분야에서 더 적은 매개변수로 더 나은 결과를 생성할 것으로 기대됩니다. 동시에 우리는 양자 기계 학습에 적합한 응용 시나리오를 찾았습니다. 이를 통해 양자 기계 학습 커뮤니티 내에서 더욱 실용적이고 혁신적인 연구를 촉진합니다.

위 내용은 ICML 2024 | 신호 표현이 기하급수적으로 향상되고 메모리 절약이 35%를 초과하며 양자 암시적 표현 네트워크가 출시됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!