目錄
什麼是 Deepfake 偵測
Deepfake偵測
資料預處理
特徵提取
分類
總結
首頁 科技週邊 人工智慧 基於深度學習的Deepfake檢測綜述

基於深度學習的Deepfake檢測綜述

Apr 12, 2023 pm 06:04 PM
機器學習 深度學習 deepfake

深度學習 (DL) 已成為電腦科學中最具影響力的領域之一,直接影響著當今人類生活和社會。與歷史上所有其他技術創新一樣,深度學習也被用於一些違法的行為。 Deepfakes 就是這樣一種深度學習應用,在過去的幾年裡已經進行了數百項研究,發明和優化各種使用 AI 的 Deepfake 檢測,本文主要是討論如何對 Deepfake 進行檢測。

基於深度學習的Deepfake檢測綜述

為了回應Deepfake,已經開發出了深度學習方法以及機器學習(非深度學習)方法來偵測 。深度學習模型需要考慮大量參數,因此需要大量資料來訓練此類模型。這正是 DL 方法與非 DL 方法相比具有更高效能和準確結果的原因。

什麼是 Deepfake 偵測

大多數 Deepfake 產生器都會在 Deepfake 的過程中留下一些痕跡。 Deepfake 影片中的這些變化可以歸類為空間不一致:影片的各個影格內發生的不相容和時間不一致:影片畫面序列中出現的不相容特徵 。

空間不一致包括臉部區域與視訊畫面的背景不相容、解析度變化以及部分渲染的器官和皮膚紋理(可能無法正確渲染臉部的所有人類特徵)。大多數常見的 Deepfake 生成器無法渲染眨眼和牙齒等特徵。並且有事會使用白色條帶代替靜止幀上肉眼甚至可以看到的牙齒 (下圖)。

時間不一致包括異常眨眼、頭部姿勢、臉部動作以及視訊畫面序列中的亮度變化。

deepfake 生成器留下的空間和時間這些痕跡都可以透過由深度神經網路 (DNN) 製成的 deepfake 偵測器來識別。我們熟悉的生成對抗網路(GANs)在deepfake 的生成器中的廣泛應用挑戰了造假偵測和生成之間的平衡。

Deepfake偵測

Deepfake 偵測器是二元分類系統,可判斷輸入數位媒體是真是假。 Deepfake 檢測不是由單一類似黑盒的模組執行的,而是由幾個其他模組和步驟組成,它們共同作用以提供檢測結果。 Deepfake檢測中常見的步驟如下[2]。

  • Deepfake 數位媒體的輸入。
  • 預處理包括人臉偵測和增強。
  • 處理後的幀的特徵提取。
  • 分類/偵測。
  • 輸出影像的真實性。

典型的基於 DL 的 Deepfake 偵測器包含 3 個主要元件來執行上述任務。

  • 預處理模組。
  • 特徵提取模組。
  • 評估器模組(深度學習分類器模型)。

接下來將詳細解釋主要步驟:資料預處理、特徵提取和偵測/分類過程。

資料預處理

在資料收集階段之後,資料應該在用於 Deepfake 偵測的訓練和測試步驟之前進行預處理。資料預處理是使用可用的程式庫自動完成的,例如 OpenCV python 、MTCNN 和YOLO 等。

資料增強在提高練 Deepfake 偵測器的效能中也扮演著至關重要的角色。可以應用諸如重新縮放(拉伸)、剪切映射、縮放增強、旋轉、亮度變化和水平/垂直翻轉等增強技術以增加資料集的泛化性 [3]。

資料預處理的第一步是從影片剪輯中提取單一影格。提取幀後需要從提取的視訊幀中檢測人臉。由於臉部區域經常出現異常,因此僅選擇臉部區域有助於特徵提取模型僅關注感興趣區域(ROI),從而節省了用於全幀掃描的計算成本。一旦偵測到臉部區域,就會從幀的其餘背景中裁剪它們,並按照一系列步驟使它們可用於模型訓練和測試。裁剪臉部區域的另一個原因是使模型的所有輸入影像都具有相同的大小。

特徵提取

上一步預處理的訊框將會傳送到特徵提取器。大多數的特徵提取器都是基於卷積神經網路(CNN)。最近的一些研究證明了膠囊網路在特徵提取過程中應用的有效性和效率的提高,這是一個新趨勢。

特徵提取器提取預處理視訊框上可用的空間特徵。特徵提取能夠提取視覺特徵、局部特徵/臉部標誌,如眼睛、鼻子、嘴巴的位置、嘴形的動態、眨眼等生物特徵。然後將擷取的特徵向量傳送到 分類器網路輸出決策。

分類

用於分類的深度學習模型通常被稱為Deepfake偵測器的骨幹。顧名思義,分類網路負責Deepfake偵測管道中最重要的任務:即分類並確定輸入影片是否為Deepfake的機率。大多數分類器都是二元分類器,其中Deepfakes輸出為(0),原始幀輸出為(1)。

分類器又是另一個卷積層(CNN)或類似的深度學習架構,如LSTM或ViT。分類模型的實際功能會根據所使用的DNN而異。例如在特徵提取器模組中提取的眨眼特徵可以被分類模組中的LSTM模組使用,以確定幀眨眼模式的時間不一致性,並據此判斷輸入是否為Deepfake[3]。在大多數情況下, Deepfake 偵測器中最後一層為全連接層。由於卷積層的輸出表示資料的高級特徵,這些輸出被展平並連接到單一輸出層以產生最終決策。

總結

在過去的幾年裡,Deepfake 的創建和偵測都出現了顯著發展。與非深度學習方法相比,由於結果的準確性,使用深度學習技術進行 Deepfake 檢測的相關研究也有很大的進展。 CNN、RNN、ViT 和膠囊網路等深度神經網路架構廣泛用於 Deepfake 偵測器的實現。常見的 Deepfake 偵測管道由資料預處理模組、基於 CNN 的特徵提取器和分類模組組成。

此外,Deepfake 偵測對 Deepfake 生成器在 Deepfake 上留下的痕跡有很大的依賴性。由於目前基於 GAN 的 Deepfake 生成器能夠以最小的不一致性合成更真實的 Deepfake,因此必須開發新的方法來最佳化 Deepfake 檢測。基於深度整合學習技術的 Deepfake 檢測方法可以被認為是對抗 Deepfake 的現代和綜合方法 [4]。儘管如此,有效且高效的 Deepfake 檢測器的空缺仍然存在。

以上是基於深度學習的Deepfake檢測綜述的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1655
14
CakePHP 教程
1413
52
Laravel 教程
1306
25
PHP教程
1252
29
C# 教程
1226
24
一文帶您了解SHAP:機器學習的模型解釋 一文帶您了解SHAP:機器學習的模型解釋 Jun 01, 2024 am 10:58 AM

在機器學習和資料科學領域,模型的可解釋性一直是研究者和實踐者關注的焦點。隨著深度學習和整合方法等複雜模型的廣泛應用,理解模型的決策過程變得尤為重要。可解釋人工智慧(ExplainableAI|XAI)透過提高模型的透明度,幫助建立對機器學習模型的信任和信心。提高模型的透明度可以透過多種複雜模型的廣泛應用等方法來實現,以及用於解釋模型的決策過程。這些方法包括特徵重要性分析、模型預測區間估計、局部可解釋性演算法等。特徵重要性分析可以透過評估模型對輸入特徵的影響程度來解釋模型的決策過程。模型預測區間估計

透過學習曲線辨識過擬合和欠擬合 透過學習曲線辨識過擬合和欠擬合 Apr 29, 2024 pm 06:50 PM

本文將介紹如何透過學習曲線來有效辨識機器學習模型中的過度擬合和欠擬合。欠擬合和過擬合1、過擬合如果一個模型對資料進行了過度訓練,以至於它從中學習了噪聲,那麼這個模型就被稱為過擬合。過度擬合模型非常完美地學習了每一個例子,所以它會錯誤地分類一個看不見的/新的例子。對於一個過度擬合的模型,我們會得到一個完美/接近完美的訓練集分數和一個糟糕的驗證集/測試分數。略有修改:"過擬合的原因:用一個複雜的模型來解決一個簡單的問題,從資料中提取雜訊。因為小資料集作為訓練集可能無法代表所有資料的正確表示。"2、欠擬合如

人工智慧在太空探索和人居工程中的演變 人工智慧在太空探索和人居工程中的演變 Apr 29, 2024 pm 03:25 PM

1950年代,人工智慧(AI)誕生。當時研究人員發現機器可以執行類似人類的任務,例如思考。後來,在1960年代,美國國防部資助了人工智慧,並建立了實驗室進行進一步開發。研究人員發現人工智慧在許多領域都有用武之地,例如太空探索和極端環境中的生存。太空探索是對宇宙的研究,宇宙涵蓋了地球以外的整個宇宙空間。太空被歸類為極端環境,因為它的條件與地球不同。要在太空中生存,必須考慮許多因素,並採取預防措施。科學家和研究人員認為,探索太空並了解一切事物的現狀有助於理解宇宙的運作方式,並為潛在的環境危機

超越ORB-SLAM3! SL-SLAM:低光、嚴重抖動和弱紋理場景全搞定 超越ORB-SLAM3! SL-SLAM:低光、嚴重抖動和弱紋理場景全搞定 May 30, 2024 am 09:35 AM

寫在前面今天我們探討下深度學習技術如何改善在複雜環境中基於視覺的SLAM(同時定位與地圖建構)表現。透過將深度特徵提取和深度匹配方法相結合,這裡介紹了一種多功能的混合視覺SLAM系統,旨在提高在諸如低光條件、動態光照、弱紋理區域和嚴重抖動等挑戰性場景中的適應性。我們的系統支援多種模式,包括拓展單目、立體、單目-慣性以及立體-慣性配置。除此之外,也分析如何將視覺SLAM與深度學習方法結合,以啟發其他研究。透過在公共資料集和自採樣資料上的廣泛實驗,展示了SL-SLAM在定位精度和追蹤魯棒性方面優

使用C++實現機器學習演算法:常見挑戰及解決方案 使用C++實現機器學習演算法:常見挑戰及解決方案 Jun 03, 2024 pm 01:25 PM

C++中機器學習演算法面臨的常見挑戰包括記憶體管理、多執行緒、效能最佳化和可維護性。解決方案包括使用智慧指標、現代線程庫、SIMD指令和第三方庫,並遵循程式碼風格指南和使用自動化工具。實作案例展示如何利用Eigen函式庫實現線性迴歸演算法,有效地管理記憶體和使用高效能矩陣操作。

你所不知道的機器學習五大學派 你所不知道的機器學習五大學派 Jun 05, 2024 pm 08:51 PM

機器學習是人工智慧的重要分支,它賦予電腦從數據中學習的能力,並能夠在無需明確編程的情況下改進自身能力。機器學習在各個領域都有廣泛的應用,從影像辨識和自然語言處理到推薦系統和詐欺偵測,它正在改變我們的生活方式。機器學習領域存在著多種不同的方法和理論,其中最具影響力的五種方法被稱為「機器學習五大派」。這五大派分別為符號派、聯結派、進化派、貝葉斯派和類推學派。 1.符號學派符號學(Symbolism),又稱符號主義,強調利用符號進行邏輯推理和表達知識。該學派認為學習是一種逆向演繹的過程,透過現有的

AlphaFold 3 重磅問世,全面預測蛋白質與所有生命分子相互作用及結構,準確度遠超以往水平 AlphaFold 3 重磅問世,全面預測蛋白質與所有生命分子相互作用及結構,準確度遠超以往水平 Jul 16, 2024 am 12:08 AM

编辑|萝卜皮自2021年发布强大的AlphaFold2以来,科学家们一直在使用蛋白质结构预测模型来绘制细胞内各种蛋白质结构的图谱、发现药物,并绘制每种已知蛋白质相互作用的「宇宙图」。就在刚刚,GoogleDeepMind发布了AlphaFold3模型,该模型能够对包括蛋白质、核酸、小分子、离子和修饰残基在内的复合物进行联合结构预测。AlphaFold3的准确性对比过去许多专用工具(蛋白质-配体相互作用、蛋白质-核酸相互作用、抗体-抗原预测)有显著提高。这表明,在单个统一的深度学习框架内,可以实现

Flash Attention穩定嗎? Meta、哈佛發現其模型權重偏差呈現數量級波動 Flash Attention穩定嗎? Meta、哈佛發現其模型權重偏差呈現數量級波動 May 30, 2024 pm 01:24 PM

MetaFAIR聯合哈佛優化大規模機器學習時所產生的資料偏差,提供了新的研究架構。據所周知,大語言模型的訓練常常需要數月的時間,使用數百甚至上千個GPU。以LLaMA270B模型為例,其訓練總共需要1,720,320個GPU小時。由於這些工作負載的規模和複雜性,導致訓練大模型存在著獨特的系統性挑戰。最近,許多機構在訓練SOTA生成式AI模型時報告了訓練過程中的不穩定情況,它們通常以損失尖峰的形式出現,例如Google的PaLM模型訓練過程中出現了多達20次的損失尖峰。數值偏差是造成這種訓練不準確性的根因,

See all articles