一張快照就能還原出一段影片! AAAI 2023論文提出快照壓縮成像新演算法
本文經AI新媒體量子位元(公眾號ID:QbitAI)授權轉載,轉載請聯絡來源。
隨著光學演算法發展,如今我們用低維感測器也能「捕捉」高維訊號了。
舉個例子,這是我們用2D感測器拍到的一張“照片”,看起來充滿了雜訊資料:
然而,正是透過這張「照片」所包含的數據,我們就能還原出一段動態的影片來!
聽起來很神奇,但透過一種名為快照壓縮成像(Snapshot Compressive Imaging, SCI )的方法,確實能實現。
這種方法能將高維度資料作為二維測量進行取樣, 從而實現高效地獲取高維度視覺訊號。
以相機為例,雖然它是2D感測器,但如果想辦法在相機鏡頭後面加個數位微鏡裝置測量裝置 (Digital Micromirror Devices,DMD,這是一種能精確控制光源的裝置),就有辦法讓普通的相機對高維度數據進行降維測量,得到簡易的的2D數據,再還原出高維3D的視覺訊號。
例如,普通的相機幀率很低,一秒鐘最多只能拍幾十張照片(假設能拍30張)。
當我們想拍攝高速運動的物體時,只要給普通相機加上這個數位微鏡裝置,它就會沿著時間維度壓縮視訊訊號,每拍到一張照片就能還原出來幾張甚至幾十張照片(也就是還原出來一段影片)。
假設我們給數位微鏡裝置預設的壓縮率是10,那麼,現在拍一張照片就能還原出來10張照片(或者說是一段包含了10幀照片的視頻),而相機的幀率也直接翻了10倍,變成一秒能拍300張照片。
現在問題來了,要如何從這些含有雜訊的壓縮低維度測量資料中,盡可能有效率地恢復原始高維度訊號呢?
隨著深度學習發展,各種重建演算法也都被提了出來,然而這些演算法重建訊號的準確性和穩定性仍然不夠好。
為此,來自港大、中科院和西湖大學的研究人員,提出了一種用於視頻快照壓縮成像的Deep Equilibrium Models(DEQ)方法,目前已被AAAI 2023收錄:
#這種方法不僅提升了重建準確度和穩定性,也進一步優化了記憶體佔用空間— —
演算法在訓練和測試中只需要常數級記憶體,即:在使用深度學習時,它所消耗的記憶體空間不隨網路深度變化(而在使用傳統最佳化方法時,它所消耗的記憶體空間不會隨迭代次數變化)。
一起來看看。
快照壓縮成像困難是什麼?
受益於新穎光學硬體和成像演算法的設計,快照壓縮成像(Snapshot Compressive Imaging, SCI)系統可以在一次快照測量中,將高維度資料作為二維測量進行採樣, 從而實現高效地獲取高維度視覺訊號。
如圖1所示,SCI系統可分為兩個部分,硬體編碼與軟體解碼:
△圖1. 快照壓縮成像系統使用低維感測器在快照測量中捕獲高維度資料
以拍攝影片為例,透過硬體編碼,SCI系統對視訊資料進行取樣,在時間維度上壓縮;此後,採用演算法來重建原始的高維度視訊資料。
這裡考慮視頻SCI系統,如視頻1所示,視頻上半部分展示的是SCI系統硬體部分得到的壓縮測量,視頻下半部分是使用該論文提出的算法恢復出來的視頻結果。
顯然,整個成像過程中需要求解一個逆問題:如何從含雜訊的壓縮測量中恢復影片。
儘管目前已經有許多重建方法可以求解SCI成像的逆問題,但這些方法各有缺陷,如圖2所示:
△圖2. SCI重建的現有方法和主要問題
其中,傳統的最佳化演算法(a)效能有限。
而隨著深度學習的發展,端到端的深度網路(b)和unfolding方法(c)雖然能提高效能,但不可避免地隨著層網路深度的增加而遭受不斷增長的記憶體佔用需求,並且需要精心設計模型。
即插即用(PnP)框架(d)雖然享受資料驅動正規化和靈活迭代優化的優點,但是這種演算法必須透過適當的參數設定來保證準確的結果,甚至需要採用一些複雜的策略來獲得令人滿意的性能。
相較於其他方法,論文提出了新演算法DE-RNN和DE-GAP,來確保重建結果的準確性和穩定性,其重建結果的效能可以收斂到一個較高水平,如圖3所示:
△圖3. DE-GAP與其他方法重建結果對比
通常來說,以往方法如RNN和PnP的重建結果不穩定,甚至在長期迭代中表現變差。
但DE-GAP重建結果卻能隨著迭代次數的增加而保持效能的提升,並最終收斂到穩定的結果。
這是怎麼做到的?
引入先進模型提升性能
為了解決以往方法存在的問題、實現更先進的SCI重建,這篇論文首次提出了一個新思路—
使用DEQ模型,解決視訊SCI重建的逆問題。
DEQ模型在2019年被首次提出,主要應用於自然語言處理中的大規模長序列語言處理任務。
如圖4所示,DEQ模型可以透過牛頓迭代法等求根方法,在前向傳播和反向傳播的過程中直接求解出不動點,從而僅使用常數級記憶體就等效實現了無窮深網路:
△圖4. DEQ模型的求解不動點方法(左)與常數級記憶體佔用(右)
(圖4出自論文:S. Bai et al, “Deep equilibrium models”, NeurIPS 2019.)
##具體來說,這篇論文首次將DEQ模型應用於兩個現有的視訊SCI重建框架:RNN和PnP。 效果也非常不錯,RNN相當於僅使用常數級記憶體實現了無窮深網絡,PnP等效於實現了無窮多迭代優化步驟,並且在迭代優化過程中直接求解不動點。
如圖5所示,論文為RNN和PnP分別設計了結合DEQ模型的迭代函數,這裡x是重建結果,y是壓縮測量,Φ是測量矩陣:(具體推導過程和前後向傳播的細節請見論文)
實驗結果如何? 論文在六個經典的SCI資料集和真實資料上都進行了實驗,相較以往的方法,整體重建結果都要更好。 如表1顯示,平均而言,這種方法在PSNR實現了大約0.1dB的改善,SSIM實現了約0.04的改善。 SSIM的改進表明,這種方法可以重建具有相對精細結構的圖像:△圖6
#圖7則是真實資料上不同演算法的重建結果對比,效果相較之下也要更好:
#△圖7
更多實驗結果可見論文。
目前論文程式碼已開源,有興趣的小夥伴們可以用起來了~
(文末還附上了作者的講解視頻,深入淺出)
論文網址:
#https://www.php.cn/link/b8002139cdde66b87638f7f91d169d96
##程式碼位址:
#https: //www.php.cn/link/fa95123aa5f89781ed4e89a55eb2edcc
#論文解說影片作者:
英文:https://www.bilibili.com/video/BV1X54y1g7D9/
中文:https://www.bilibili.com/video/BV1V54y137QK/
##塑膠粵語:https:/ /www.bilibili.com/video/BV1224y1G7ee/#
以上是一張快照就能還原出一段影片! AAAI 2023論文提出快照壓縮成像新演算法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

熱門話題

隨著短影片平台的興起,抖音成為了大家日常生活中不可或缺的一部分。在抖音上,我們可以看到來自世界各地的有趣影片。有些人喜歡發布他人的視頻,這就引發了一個問題:抖音發布他人視頻侵權嗎?本文將圍繞這個問題展開討論,告訴大家怎樣剪輯影片不算侵權,以及如何避免侵權問題。一、抖音發布他人影片侵權嗎?根據我國《著作權法》的規定,未經著作權人許可,擅自使用其作品,屬於侵權行為。因此,在抖音上發布他人視頻,如果未經原作者或著作權人許可,就屬於侵權行為。二、怎樣剪輯影片不算侵權? 1.使用公共領域或授權的內容:公共

Wink如何去視訊浮水印?winkAPP中是有去除掉視訊浮水印的工具,但是多數的小伙伴不知道wink中如何去除掉視頻中的水印,接下來就是小編為玩家帶來的Wink視頻去水印方法圖文教程,有興趣的用戶快來一起看看吧! Wink如何去視訊浮水印1、先開啟winkAPP,在首頁面專區中選擇【去浮水印】功能;2、然後在相簿中選擇你需要去除水印的影片;3、接著選擇影片之後,剪輯影片之後點擊右上角【√】;4、最後點選如下圖的【一鍵去印】之後點選【處理】即可。

抖音,這個全民短視頻平台,不僅讓我們在閒暇時間享受到各種有趣、新奇的短視頻,同時也給了我們一個展示自我、實現價值的舞台。那麼,如何在抖音發布影片中賺取收益呢?本文將詳細解答這個問題,幫助你在抖音上賺取更多的收益。一、抖音發布影片如何賺收益?發布影片在抖音上獲得一定的播放量後,可以有機會參與廣告分成計畫。這項收益方式是抖音用戶最熟悉的之一,也是許多創作者主要的收入來源。抖音根據帳號權重、影片內容以及觀眾回饋等多種因素來決定是否提供廣告分成的機會。抖音平台允許觀眾透過發送禮物來支持自己喜歡的創作者,

在iOS設備上,「相機」應用程式可讓您拍攝慢動作視頻,如果您使用的是最新的iPhone,甚至可以以每秒240幀的速度錄製視頻。此功能讓您能夠捕捉到豐富細節的高速動作。但有時候,您可能希望將慢動作影片以正常速度播放,這樣可以更好地欣賞影片中的細節和動作。在這篇文章中,我們將解釋從iPhone上的現有影片中刪除慢動作的所有方法。如何從iPhone上的影片中刪除慢動作[2種方法]您可以使用「照片」App或iMovie剪輯App從裝置上的影片中刪除慢動作。方法1:使用「照片」應用程式在iPhone上開啟

隨著短影片平台的興起,小紅書成為了許多人分享生活、表達自我、獲取流量的平台。在這個平台上,發布影片作品是一種非常受歡迎的互動方式。那麼,如何發布小紅書影片作品呢?一、如何發布小紅書影片作品?首先,確保準備好一段適合分享的影片內容。你可以利用手機或其他攝影設備拍攝,需要注意畫質和聲音的清晰度。 2.剪輯影片:為了讓作品更具吸引力,可以剪輯影片。可使用專業的影片剪輯軟體,如抖音、快手等,加入濾鏡、音樂、字幕等元素。 3.選擇封面:封面是吸引用戶點擊的關鍵,選擇一張清晰、有趣的圖片作為封面,讓

1.先打開手機微博,點選右下角【我】(如圖所示)。 2、接著點選右上角【齒輪】打開設定(如圖所示)。 3.然後找到並開啟【通用設定】(如圖所示)。 4.隨後進入【影片隨著】選項(如圖所示)。 5.再開啟【影片上傳清晰度】設定(如圖)。 6.最後選擇【原畫質】就能不壓縮了(如圖)。

uc瀏覽器下載的影片怎麼變成本機影片?許多手機用戶都喜歡使用UC瀏覽器,不僅可用它進行網頁瀏覽,還可在線上觀看各種影片和電視節目,並將喜愛的影片下載至手機。實際上,我們可以將下載的視頻轉換為本地視頻,但很多人不清楚如何操作。因此,小編特地為大家帶來了將uc瀏覽器快取的影片轉為本地影片方法,希望可以幫助到各位。將uc瀏覽器快取的影片轉為本機影片方法1、開啟uc瀏覽器,點選「選單」選項。 2、點選「下載/影片」。 3、點選「已快取影片」。 4.長按任意一個視頻,彈出選項後,點選「開啟目錄」。 5.勾選要下載的

發現某下載網站下載的壓縮包,解壓縮後再打包會比原來的壓縮包大一些,小的幾十Kb的差別,大的幾十Mb的差別,如果上傳到雲盤或付費空間,文件少無所謂,文件多的話,大大的增加儲存成本。特意研究了下,有需要的可以藉鏡。壓縮等級:9-極限壓縮字典大小:256或384,字典越壓縮越慢,256MB之前壓縮率差異較大,384MB後壓縮率無差別單字大小:最大273參數:f=BCJ2,測試加參數壓縮率會高一些
