스냅샷으로 비디오를 복원할 수 있습니다! AAAI 2023 논문은 스냅샷 압축 이미징을 위한 새로운 알고리즘을 제안합니다.
본 글은 AI 뉴미디어 큐빗(공개 계정 ID: QbitAI)의 승인을 받아 재인쇄되었습니다.
광학 알고리즘의 개발로 이제 저차원 센서로 고차원 신호를 "포착"할 수 있습니다.
예를 들어, 이것은 우리가 2D 센서로 찍은 "사진"인데, 노이즈가 많은 데이터로 가득 차 보입니다.
그러나 이 "사진"에 포함된 데이터를 통해 우리는 역동적인 영상!
마법처럼 들리지만 Snapshot Compressive Imaging(Snapshot Compressive Imaging, SCI)이라는 방법을 통해 실제로 달성할 수 있습니다.
이 방법은 고차원 데이터를 2차원 측정으로 샘플링하여 고차원 시각 신호를 효율적으로 수집할 수 있습니다.
카메라를 예로 들어보겠습니다. 2D 센서이지만, 카메라 렌즈 뒤에 디지털 마이크로미러 소자 측정 장치를 추가하는 방법을 찾으면(Digital Micromirror Devices, DMD, 이것은 정확하게 측정할 수 있는 장치입니다. 광원 제어 ) 일반 카메라를 사용하여 고차원 데이터에 대한 차원 축소 측정을 수행하고 간단한 2D 데이터를 얻은 다음 고차원 3D 시각 신호를 복원하는 방법이 있습니다.
예를 들어 일반 카메라의 프레임 속도는 매우 낮고 초당 수십 장의 사진만 찍을 수 있습니다(30장의 사진을 찍을 수 있다고 가정).
고속으로 움직이는 물체를 촬영하고 싶을 때 이 디지털 마이크로미러 장치를 일반 카메라에 추가하기만 하면 시간 차원에 따라 비디오 신호를 압축하고 사진을 찍을 때마다 여러 개의 프레임 또는 심지어 수십 프레임의 사진 (즉, 비디오가 복원됨) .
디지털 마이크로미러 장치의 사전 설정된 압축률이 10이라고 가정합니다. 그러면 지금 사진 한 장을 찍으면 10장의 사진(또는 10프레임의 사진이 포함된 동영상)을 복원할 수 있으며, 카메라의 프레임 속도도 직접적으로 높아졌습니다. 10배로 늘리면 1초에 300장의 사진을 찍을 수 있습니다. 이제 질문이 생깁니다. 이렇게 시끄러운 압축 저차원 측정 데이터에서 원래의 고차원 신호를 최대한 효율적으로 복구하는 방법은 무엇일까요?
딥러닝의 발전과 함께 다양한 재구성 알고리즘이 제안되었지만, 이러한 알고리즘에 의해 재구성된 신호의 정확성과 안정성은 여전히 충분하지 않습니다.
이를 위해
홍콩 대학교, 중국 과학 아카데미 및 웨스트레이크 대학교의 연구원들은 AAAI 2023에 포함된 비디오 스냅샷 압축 이미징을 위한 심층 평형 모델(DEQ) 방법을 제안했습니다.
알고리즘은 훈련 및 테스트 중에
일정 수준 메모리만 필요합니다. 즉, 딥 러닝을 사용할 때 소비된 메모리 공간 은 네트워크 깊이에 따라 변하지 않습니다 (기존 최적화 방법을 사용할 때 소비하는 메모리 공간은 반복 횟수에 따라 변하지 않습니다) . 한번 살펴보겠습니다.
스냅샷 압축 이미징의 어려움은 무엇인가요?
새로운 광학 하드웨어 및 이미징 알고리즘 설계의 이점을 활용한 Snapshot Compressive Imaging
(Snapshot Compressive Imaging, SCI) 시스템은 한 번의 스냅샷 측정에서 고차원 데이터를 2차원 측정으로 샘플링할 수 있으므로 높은 데이터를 효율적으로 수집할 수 있습니다. -차원적인 데이터.차원적인 시각적 신호.그림 1에서 볼 수 있듯이 SCI 시스템은 하드웨어 인코딩과 소프트웨어 디코딩의 두 부분으로 나눌 수 있습니다.
Δ 그림 1. 스냅샷 압축 이미징 시스템은 저차원 센서를 사용하여 고차원 데이터를 캡처합니다. 스냅샷 측정에서
노이즈가 있는 압축 측정에서 비디오를 복구하는 방법
.SCI 영상의 역문제를 해결할 수 있는 재구성 방법은 많지만 그림 2와 같이 각 방법에는 고유한 단점이 있습니다.
Δ그림 2. 기존 방법 SCI 재구성 방법 및 주요 문제
그 중 전통적인 최적화 알고리즘(a)은 성능이 제한되어 있습니다.
딥러닝, 엔드투엔드 딥 네트워크(b) 및 전개 방법(c)의 발전으로 성능을 향상시킬 수는 있지만 필연적으로 레이어 네트워크의 깊이가 증가함에 따라 메모리 증가 문제가 발생합니다. 점유 요구 사항이 있으므로 모델을 신중하게 설계해야 합니다.
Plug and Play(PnP)Framework(d) 이 알고리즘은 데이터 기반 정규화와 유연한 반복 최적화의 장점을 즐기면서 적절한 매개변수 설정을 통해 정확한 결과를 보장해야 하며, 만족스러운 결과를 얻으려면 몇 가지 복잡한 전략도 필요합니다. 성능.
다른 방법과 비교하여 본 논문에서는 그림 3과 같이 재구성 결과의 정확성과 안정성을 보장하기 위해 새로운 알고리즘 DE-RNN 및 DE-GAP을 제안합니다. 표시:
Δ 그림 3. DE-GAP과 다른 방법의 재구성 결과 비교
일반적으로 RNN 및 PnP와 같은 이전 방법의 재구성 결과는 불안정하며 장기적으로 성능이 저하되기도 합니다. 반복.
그러나 DE-GAP 재구성 결과는 반복 횟수가 증가함에 따라 성능 향상을 유지할 수 있으며 결국 안정적인 결과로 수렴됩니다.
이 작업은 어떻게 이루어지나요?
성능 향상을 위한 고급 모델 도입
이전 방법의 문제를 해결하고 더욱 발전된 SCI 재구성을 달성하기 위해 본 논문에서는 처음으로 새로운 아이디어를 제안합니다. -
역 문제를 해결하기 위해 DEQ 모델을 사용함 비디오 SCI 재구성 질문입니다.
DEQ 모델은 2019년에 처음 제안되었으며 자연어 처리 분야의 대규모 긴 시퀀스 언어 처리 작업에 주로 사용됩니다.
그림 4에서 볼 수 있듯이 DEQ 모델은 뉴턴의 반복법과 같은 근 찾기 방법을 통해 순전파 및 역전파 과정에서 고정점을 직접 풀 수 있으므로 상수 수준 메모리만 사용하여 효과적으로 무한대를 달성할 수 있습니다. :
Δ 그림 4. DEQ 모델을 해결하기 위한 고정 소수점 방법(왼쪽) 및 상수 수준 메모리 사용량(오른쪽)
(그림 4는 논문에서 발췌: S. Bai et al, " 심층 평형 모델”, NeurIPS 2019.)
구체적으로 이 논문은 DEQ 모델을 두 개의 기존 비디오 SCI 재구성 프레임워크인 RNN과 PnP에 처음으로 적용합니다.
효과도 매우 좋습니다. RNN은 상수 수준 메모리만 사용하여 무한히 깊은 네트워크를 구현하는 것과 같습니다. PnP는 무한히 많은 반복 최적화 단계를 구현하고 반복 최적화 과정에서 고정점을 직접 해결하는 것과 같습니다.
그림 5에서 볼 수 있듯이 논문은 각각 RNN 및 PnP에 대한 DEQ 모델과 결합된 반복 함수를 설계합니다. 여기서 x는 재구성 결과, y는 압축 측정, Φ는 측정 행렬입니다.
Δ그림 5. DEQ 모델과 각각 결합된 RNN 및 PnP의 반복 함수
(구체적인 파생 프로세스 및 순방향 및 역방향 전파에 대한 자세한 내용은 논문을 참조하세요.)
실험 결과는 무엇입니까?
이 논문은 6개의 클래식 SCI 데이터 세트와 실제 데이터에 대한 실험을 수행했으며 이전 방법과 비교하여 전반적인 재구성 결과가 더 좋습니다.
표 1에서 볼 수 있듯이 이 방법은 평균적으로 PSNR이 약 0.1dB 향상되고 SSIM이 약 0.04 향상됩니다. SSIM의 개선은 이 방법이 상대적으로 미세한 구조로 이미지를 재구성할 수 있음을 보여줍니다.
Δ 표 1. 비디오 SCI 재구성의 6가지 클래식 데이터 세트에 대한 다양한 알고리즘의 PSNR(dB) 및 SSIM
그림 6 비교입니다. 클래식 데이터 세트에 대한 다양한 알고리즘의 재구성 결과 및 일부 세부 정보 표시가 더 부드럽고 명확해졌습니다.
Δ그림 6
그림 7은 실제 데이터에 대한 다양한 알고리즘의 재구성 결과를 비교한 것으로, 비교했을 때 효과가 더 좋습니다.
Δ그림 7
더 많은 실험 결과가 가능합니다. 본 종이.
현재 페이퍼 코드는 오픈소스로 공개되어 관심 있는 친구들이 사용 가능해요~
(글 끝에 저자의 설명 영상도 첨부되어 있어 깊고 간단하게 설명하고 있어요)
논문 주소:
https://www.php.cn/link/b8002139cdde66b87638f7f91d169d96
코드 주소:
https: //www.php.cn/link /fa95123aa5f89781ed4e89a55eb2edcc
저자의 논문 설명 영상:
English: https://www.bili bili.com/video/ BV1X54y1g7D9/
중국어: https://www.bilibili.com/video/BV1V54y137QK/
플라스틱 광둥어: https://www.bilibili.com/video/BV1224y1G 7ee/
위 내용은 스냅샷으로 비디오를 복원할 수 있습니다! AAAI 2023 논문은 스냅샷 압축 이미징을 위한 새로운 알고리즘을 제안합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제









단편 동영상 플랫폼의 등장으로 Douyin은 모든 사람의 일상생활에 없어서는 안 될 부분이 되었습니다. TikTok에서는 전 세계의 흥미로운 동영상을 볼 수 있습니다. 어떤 사람들은 다른 사람의 동영상을 게시하는 것을 좋아하는데, 이는 다음과 같은 질문을 제기합니다. Douyin이 다른 사람의 동영상을 게시하면 저작권을 침해합니까? 이 글에서는 이 문제에 대해 논의하고 침해 없이 동영상을 편집하는 방법과 침해 문제를 방지하는 방법을 알려드립니다. 1. Douyin이 타인의 영상을 게시하는 것에 대한 침해인가요? 우리나라 저작권법 조항에 따르면, 저작권 소유자의 허락 없이 저작권 소유자의 저작물을 무단으로 사용하는 것은 침해입니다. 따라서 원저작자나 저작권 소유자의 허락 없이 Douyin에 다른 사람의 동영상을 게시하는 것은 침해입니다. 2. 침해 없이 동영상을 편집하는 방법은 무엇입니까? 1. 공개 도메인 또는 라이센스 콘텐츠의 사용: 공개

윙크 동영상 워터마크 제거 방법 winkAPP에 동영상 워터마크 제거 도구가 있는데 대부분의 친구들이 윙크 동영상 워터마크 제거 방법을 모릅니다. 편집자가 가져온 텍스트 튜토리얼입니다. 관심 있는 사용자가 와서 살펴보세요! 윙크에서 비디오 워터마크를 제거하는 방법 1. 먼저 윙크 앱을 열고 홈페이지 영역에서 [워터마크 제거] 기능을 선택합니다. 2. 그런 다음 앨범에서 워터마크를 제거하려는 비디오를 선택합니다. 3. 그런 다음 비디오를 선택하고 클릭합니다. 영상 편집 후 오른쪽 상단 [√] 4. 마지막으로 아래 그림과 같이 [원클릭 인쇄]를 클릭한 후 [처리]를 클릭하세요.

국민 단편 영상 플랫폼인 Douyin은 우리가 여가 시간에 재미있고 참신한 다양한 단편 영상을 즐길 수 있게 해줄 뿐만 아니라, 우리 자신을 보여주고 우리의 가치를 실현할 수 있는 무대를 제공합니다. 그렇다면 Douyin에 동영상을 게시하여 돈을 버는 방법은 무엇입니까? 이 글은 이 질문에 대해 자세히 답변하고 TikTok에서 더 많은 수익을 창출하는 데 도움이 될 것입니다. 1. Douyin에 동영상을 게시하여 수익을 창출하는 방법은 무엇입니까? 동영상을 게시하고 Douyin에서 일정 조회수를 얻은 후 광고 공유 계획에 참여할 수 있는 기회를 얻게 됩니다. 이 수입 방식은 Douyin 사용자들에게 가장 친숙한 방법 중 하나이며, 많은 창작자들의 주요 수입원이기도 합니다. Douyin은 계정 가중치, 영상 콘텐츠, 시청자 피드백 등 다양한 요소를 바탕으로 광고 공유 기회 제공 여부를 결정합니다. TikTok 플랫폼을 통해 시청자는 선물을 보내 좋아하는 크리에이터를 지원할 수 있습니다.

1. 먼저 휴대폰에서 웨이보를 열고 오른쪽 하단의 [나]를 클릭하세요(그림 참조). 2. 그런 다음 오른쪽 상단에 있는 [기어]를 클릭하여 설정을 엽니다(그림 참조). 3. 그런 다음 [일반 설정]을 찾아 엽니다(그림 참조). 4. 그런 다음 [동영상 팔로우] 옵션을 입력하세요(그림 참조). 5. 그런 다음 [동영상 업로드 해상도] 설정을 엽니다(그림 참조). 6. 마지막으로 [원본 화질]을 선택하여 압축을 방지합니다(그림 참조).

iOS 장치에서 카메라 앱을 사용하면 슬로우 모션 비디오를 촬영할 수 있으며, 최신 iPhone을 사용하는 경우 초당 240프레임까지 촬영할 수 있습니다. 이 기능을 사용하면 고속 동작을 풍부하고 자세하게 캡처할 수 있습니다. 그러나 때로는 비디오의 세부 사항과 동작을 더 잘 감상할 수 있도록 슬로우 모션 비디오를 정상 속도로 재생하고 싶을 수도 있습니다. 이 기사에서는 iPhone의 기존 비디오에서 슬로우 모션을 제거하는 모든 방법을 설명합니다. iPhone의 비디오에서 슬로우 모션을 제거하는 방법 [2가지 방법] 사진 앱 또는 iMovie 앱을 사용하여 장치의 비디오에서 슬로우 모션을 제거할 수 있습니다. 방법 1: iPhone에서 사진 앱을 사용하여 열기

단편 동영상 플랫폼의 등장으로 Xiaohongshu는 많은 사람들이 자신의 삶을 공유하고 자신을 표현하며 트래픽을 얻는 플랫폼이 되었습니다. 이 플랫폼에서는 비디오 작품을 출판하는 것이 매우 인기 있는 상호 작용 방식입니다. 그렇다면 Xiaohongshu 비디오 작품을 출판하는 방법은 무엇입니까? 1. 샤오홍슈 영상 작품은 어떻게 출판하나요? 먼저, 공유할 비디오 콘텐츠가 준비되어 있는지 확인하세요. 휴대폰이나 기타 카메라 장비를 사용해 촬영할 수 있지만 화질과 사운드 선명도에 주의해야 합니다. 2. 영상 편집 : 작품을 더욱 돋보이게 하기 위해 영상을 편집할 수 있습니다. Douyin, Kuaishou 등과 같은 전문 비디오 편집 소프트웨어를 사용하여 필터, 음악, 자막 및 기타 요소를 추가할 수 있습니다. 3. 표지를 선택하세요. 표지는 사용자의 클릭을 유도하는 핵심 요소입니다. 사용자의 클릭을 유도할 수 있는 명확하고 흥미로운 그림을 표지로 선택하세요.

UC 브라우저로 다운로드한 비디오를 로컬 비디오로 변환하는 방법은 무엇입니까? 많은 휴대폰 사용자는 웹 검색뿐만 아니라 온라인으로 다양한 비디오 및 TV 프로그램을 시청하고 좋아하는 비디오를 휴대폰에 다운로드할 수 있는 기능을 즐겨 사용합니다. 실제로 다운로드한 비디오를 로컬 비디오로 변환할 수 있지만 많은 사람들이 이를 수행하는 방법을 모릅니다. 따라서 편집자는 UC 브라우저에 캐시된 비디오를 로컬 비디오로 변환하는 방법을 특별히 제공합니다. uc 브라우저에 캐시된 비디오를 로컬 비디오로 변환하는 방법 1. uc 브라우저를 열고 "메뉴" 옵션을 클릭합니다. 2. "다운로드/동영상"을 클릭하세요. 3. "캐시된 비디오"를 클릭하세요. 4. 비디오를 길게 누르고 옵션이 나타나면 "디렉터리 열기"를 클릭합니다. 5. 다운로드하고 싶은 항목을 확인하세요.

특정 다운로드 사이트에서 다운로드한 압축 패키지는 압축을 푼 후 원본 압축 패키지보다 용량이 더 커지는 것을 확인했습니다. 그 차이는 수십 Kb, 수십 Mb 정도입니다. 클라우드 디스크나 유료 공간에 업로드해도 상관없습니다. 파일이 작을 경우, 파일이 많을 경우 저장 비용이 크게 증가합니다. 나는 그것에 대해 약간의 조사를 했으며 필요하다면 배울 수 있습니다. 압축 수준: 9급 압축 사전 크기: 256 또는 384, 사전을 많이 압축할수록 속도가 느려집니다. 256MB 이전에는 압축률 차이가 더 크고, 384MB 이후에는 압축률 차이가 없습니다. 단어 크기: 최대 273 매개변수: f=BCJ2, 테스트 및 추가 매개변수 압축률이 높아집니다.
