目錄
實驗
首頁 科技週邊 人工智慧 一鍵去除影片閃爍,研究提出了一個通用框架

一鍵去除影片閃爍,研究提出了一個通用框架

Apr 04, 2023 pm 12:50 PM
影片 論文

論文成功提出了第一個無需額外指導或了解閃爍的通用去閃爍方法,可以消除各種閃爍偽影。

一鍵去除影片閃爍,研究提出了一個通用框架

高品質的影片通常在時間上具有一致性,但由於各種原因,許多影片會出現閃爍。例如,由於一些舊相機硬體品質較差,無法將每個畫面的曝光時間設定為相同,因此舊電影的亮度可能非常不穩定。此外,具有非常短曝光時間的高速相機可以捕捉室內照明的高頻率(例如 60 Hz)變化。

一鍵去除影片閃爍,研究提出了一個通用框架

將影像演算法應用於時間上一致的影片時可能會帶來閃爍,例如影像增強、影像著色和風格轉換等有效的處理演算法。

一鍵去除影片閃爍,研究提出了一個通用框架

影片產生方法產生的影片也可能包含閃爍偽影。

一鍵去除影片閃爍,研究提出了一個通用框架

由於時間一致的影片通常更具視覺上的吸引力,從影片中消除閃爍在影片處理和計算攝影領域中非常受歡迎。

此CVPR 2023 論文致力於研究一種通用的閃爍去除方法:(1)對於各種閃爍模式或水平均具有較高的泛化性(例如,舊電影、高速相機拍攝的慢動作視頻),(2)僅需要一段閃爍視頻,並不需要其他輔助資訊(例如,閃爍類型、額外的時間一致視頻)。由於該方法沒有過多假設,它具有廣泛的應用場景。

一鍵去除影片閃爍,研究提出了一個通用框架

程式碼連結:https://github.com/ChenyangLEI/All-in-one-Deflicker

專案連結:https://chenyanglei. github.io/deflicker

論文連結:https://arxiv.org/pdf/2303.08120.pdf

通用的閃爍去除方法很具有挑戰性,因為在沒有任何額外指導的情況下很難強制整個影片的時間一致性。

現有的技術通常為每種閃爍類型設計特定的策略,並使用特定的知識。例如,對於由高速攝影機拍攝的慢動作視頻,先前的工作可以分析照明頻率。對於透過影像處理演算法處理的視頻,盲目視頻時域一致性演算法可以利用時域上一致的未處理視頻上作為參考,從而獲得長期的一致性。然而,閃爍類型或未經處理的視訊並不總是可用的,因此現有的特定於閃爍的演算法無法應用於這種情況。

一個直覺的解決方案是使用光流來追蹤對應關係。然而,從閃爍影片中獲得的光流不足夠準確,光流的累積誤差也會隨著幀數的增加而增加。

透過兩個關鍵的觀察和設計,作者成功提出了一個通用的、無需額外指導的通用去閃爍方法,可以消除各種閃爍偽影。

一個好的盲去閃爍模型應該具有追蹤所有視訊影格之間對應點的能力。視訊處理的多數網路結構只能採用少量影格作為輸入,導致感知野較小,無法保證長期一致性。研究者觀察到神經圖集非常適合閃爍消除任務,因此將引入神經圖集到這項任務中。神經圖集是影片中所有像素的統一且簡潔的表示方式。如圖 (a) 所示,設 p 為一個像素,每個像素 p 被輸入到映射網路 M 中,該網路預測 2D 座標(up,vp),表示像素在圖集中對應的位置。理想情況下,不同幀之間的對應點應該共享圖集中的一個像素,即使輸入像素的顏色不同也應該如此。也就是說,這可以確保時間一致性。

其次,雖然從共享的圖層中獲取的幀是一致的,但影像的結構有缺陷:神經圖層不能輕鬆地建模具有大運動的動態物件;用於建立圖層的光流也不完美。因此,作者們提出了一種神經過濾策略,從有缺陷的圖層中挑選好的部分。研究者們訓練了一個神經網路來學習兩種類型的失真下的不變性,這兩種失真分別模擬了圖層中的偽影和影片中的閃爍。在測試時,該網路可作為過濾器很好地工作,以保留一致性屬性並阻止有缺陷的圖層中的偽影。

一鍵去除影片閃爍,研究提出了一個通用框架

實驗

研究者建立了一個包含各種真實閃爍影片的資料集。廣泛的實驗表明,在多種類型的閃爍影片上,研究者的方法實現了令人滿意的去閃爍效果。研究者的演算法甚至在公共基準測試中優於使用額外指導的基線方法。

一鍵去除影片閃爍,研究提出了一個通用框架

研究者提供了(a) 處理的到的閃爍影片和合成的閃爍影片的定量比較,研究者的方法的變形誤差比基線小得多,根據PSNR,研究者的結果在合成資料上也更接近真實值。對於其他真實世界視頻,研究提供了 (b) 雙盲實驗以進行比較,大多數用戶更喜歡研究者的結果。

一鍵去除影片閃爍,研究提出了一個通用框架

如上圖所示,研究者的演算法可以很好的去除輸入影片中的閃爍。請注意,第三列圖片展示了神經圖層的結果,可以觀察到明顯的缺陷,但是研究者的演算法可以很好的利用其一致性又避免引入這些缺陷。

此框架可以去除舊電影、AI生成影片中包含的不同類別的閃爍。

一鍵去除影片閃爍,研究提出了一個通用框架

一鍵去除影片閃爍,研究提出了一個通用框架

一鍵去除影片閃爍,研究提出了一個通用框架

一鍵去除影片閃爍,研究提出了一個通用框架

#

以上是一鍵去除影片閃爍,研究提出了一個通用框架的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

視訊檔案儲存在瀏覽器快取中的位置在哪裡? 視訊檔案儲存在瀏覽器快取中的位置在哪裡? Feb 19, 2024 pm 05:09 PM

瀏覽器快取影片在哪個資料夾在日常使用網路瀏覽器時,我們經常會觀看各種線上視頻,例如在YouTube上看音樂影片或在Netflix上觀看電影等。而這些影片在載入過程中會被瀏覽器快取下來,以便日後再次播放時能夠快速載入。那麼問題來了,這些快取的影片實際上儲存在哪個資料夾中呢?不同瀏覽器的快取視訊資料夾保存位置是不同的。以下我們將分別介紹幾種常見的瀏覽器以及它們

抖音發布他人影片侵權嗎?它怎麼剪輯影片不算侵權? 抖音發布他人影片侵權嗎?它怎麼剪輯影片不算侵權? Mar 21, 2024 pm 05:57 PM

隨著短影片平台的興起,抖音成為了大家日常生活中不可或缺的一部分。在抖音上,我們可以看到來自世界各地的有趣影片。有些人喜歡發布他人的視頻,這就引發了一個問題:抖音發布他人視頻侵權嗎?本文將圍繞這個問題展開討論,告訴大家怎樣剪輯影片不算侵權,以及如何避免侵權問題。一、抖音發布他人影片侵權嗎?根據我國《著作權法》的規定,未經著作權人許可,擅自使用其作品,屬於侵權行為。因此,在抖音上發布他人視頻,如果未經原作者或著作權人許可,就屬於侵權行為。二、怎樣剪輯影片不算侵權? 1.使用公共領域或授權的內容:公共

Wink如何去影片浮水印 Wink如何去影片浮水印 Feb 23, 2024 pm 07:22 PM

Wink如何去視訊浮水印?winkAPP中是有去除掉視訊浮水印的工具,但是多數的小伙伴不知道wink中如何去除掉視頻中的水印,接下來就是小編為玩家帶來的Wink視頻去水印方法圖文教程,有興趣的用戶快來一起看看吧! Wink如何去視訊浮水印1、先開啟winkAPP,在首頁面專區中選擇【去浮水印】功能;2、然後在相簿中選擇你需要去除水印的影片;3、接著選擇影片之後,剪輯影片之後點擊右上角【√】;4、最後點選如下圖的【一鍵去印】之後點選【處理】即可。

抖音發布影片如何賺收益?新手小白怎麼在抖音上賺錢啊? 抖音發布影片如何賺收益?新手小白怎麼在抖音上賺錢啊? Mar 21, 2024 pm 08:17 PM

抖音,這個全民短視頻平台,不僅讓我們在閒暇時間享受到各種有趣、新奇的短視頻,同時也給了我們一個展示自我、實現價值的舞台。那麼,如何在抖音發布影片中賺取收益呢?本文將詳細解答這個問題,幫助你在抖音上賺取更多的收益。一、抖音發布影片如何賺收益?發布影片在抖音上獲得一定的播放量後,可以有機會參與廣告分成計畫。這項收益方式是抖音用戶最熟悉的之一,也是許多創作者主要的收入來源。抖音根據帳號權重、影片內容以及觀眾回饋等多種因素來決定是否提供廣告分成的機會。抖音平台允許觀眾透過發送禮物來支持自己喜歡的創作者,

從 iPhone 上的影片中刪除慢動作的 2 種方法 從 iPhone 上的影片中刪除慢動作的 2 種方法 Mar 04, 2024 am 10:46 AM

在iOS設備上,「相機」應用程式可讓您拍攝慢動作視頻,如果您使用的是最新的iPhone,甚至可以以每秒240幀的速度錄製視頻。此功能讓您能夠捕捉到豐富細節的高速動作。但有時候,您可能希望將慢動作影片以正常速度播放,這樣可以更好地欣賞影片中的細節和動作。在這篇文章中,我們將解釋從iPhone上的現有影片中刪除慢動作的所有方法。如何從iPhone上的影片中刪除慢動作[2種方法]您可以使用「照片」App或iMovie剪輯App從裝置上的影片中刪除慢動作。方法1:使用「照片」應用程式在iPhone上開啟

微博發影片怎麼不壓縮畫質_微博發影片不壓縮畫質方法 微博發影片怎麼不壓縮畫質_微博發影片不壓縮畫質方法 Mar 30, 2024 pm 12:26 PM

1.先打開手機微博,點選右下角【我】(如圖所示)。 2、接著點選右上角【齒輪】打開設定(如圖所示)。 3.然後找到並開啟【通用設定】(如圖所示)。 4.隨後進入【影片隨著】選項(如圖所示)。 5.再開啟【影片上傳清晰度】設定(如圖)。 6.最後選擇【原畫質】就能不壓縮了(如圖)。

如何發布小紅書影片作品?發影片要注意什麼? 如何發布小紅書影片作品?發影片要注意什麼? Mar 23, 2024 pm 08:50 PM

隨著短影片平台的興起,小紅書成為了許多人分享生活、表達自我、獲取流量的平台。在這個平台上,發布影片作品是一種非常受歡迎的互動方式。那麼,如何發布小紅書影片作品呢?一、如何發布小紅書影片作品?首先,確保準備好一段適合分享的影片內容。你可以利用手機或其他攝影設備拍攝,需要注意畫質和聲音的清晰度。 2.剪輯影片:為了讓作品更具吸引力,可以剪輯影片。可使用專業的影片剪輯軟體,如抖音、快手等,加入濾鏡、音樂、字幕等元素。 3.選擇封面:封面是吸引用戶點擊的關鍵,選擇一張清晰、有趣的圖片作為封面,讓

uc瀏覽器下載的視頻怎麼變成本地視頻 uc瀏覽器下載的視頻怎麼變成本地視頻 Feb 29, 2024 pm 10:19 PM

uc瀏覽器下載的影片怎麼變成本機影片?許多手機用戶都喜歡使用UC瀏覽器,不僅可用它進行網頁瀏覽,還可在線上觀看各種影片和電視節目,並將喜愛的影片下載至手機。實際上,我們可以將下載的視頻轉換為本地視頻,但很多人不清楚如何操作。因此,小編特地為大家帶來了將uc瀏覽器快取的影片轉為本地影片方法,希望可以幫助到各位。將uc瀏覽器快取的影片轉為本機影片方法1、開啟uc瀏覽器,點選「選單」選項。 2、點選「下載/影片」。 3、點選「已快取影片」。 4.長按任意一個視頻,彈出選項後,點選「開啟目錄」。 5.勾選要下載的

See all articles