Deep Learning (DL) hat sich zu einem der einflussreichsten Bereiche der Informatik entwickelt und wirkt sich direkt auf das heutige menschliche Leben und die Gesellschaft aus. Wie jede andere technologische Innovation in der Geschichte wurde auch Deep Learning für einige illegale Zwecke genutzt. Deepfakes sind eine solche Deep-Learning-Anwendung. In den letzten Jahren wurden Hunderte von Studien durchgeführt, um verschiedene Deepfake-Erkennungen mithilfe von KI zu entwickeln und zu optimieren.
Um mit Deepfakes umzugehen, wurden Deep-Learning-Methoden sowie Methoden des maschinellen Lernens (Nicht-Deep-Learning) zu deren Erkennung entwickelt. Deep-Learning-Modelle müssen eine große Anzahl von Parametern berücksichtigen, sodass zum Trainieren solcher Modelle eine große Datenmenge erforderlich ist. Genau aus diesem Grund weisen DL-Methoden im Vergleich zu Nicht-DL-Methoden eine höhere Leistung und genauere Ergebnisse auf.
Was ist Deepfake-Erkennung?
Die meisten Deepfake-Generatoren hinterlassen einige Spuren im Deepfake-Prozess. Diese Veränderungen in Deepfake-Videos können als räumliche Inkonsistenzen klassifiziert werden: Inkompatibilitäten, die innerhalb einzelner Frames des Videos auftreten, und zeitliche Inkonsistenzen: inkompatible Merkmale, die in der Folge von Videoframes auftreten.
Zu den räumlichen Inkonsistenzen gehören Bereiche des Gesichts, die nicht mit dem Hintergrund des Videobilds kompatibel sind, Auflösungsänderungen und teilweise gerenderte Organ- und Hauttexturen (die möglicherweise nicht alle menschlichen Gesichtszüge korrekt wiedergeben). Die meisten gängigen Deepfake-Generatoren sind nicht in der Lage, Merkmale wie Blinzeln und Zähne darzustellen. Und manchmal werden weiße Streifen verwendet, um die Zähne zu ersetzen, die auf dem Standbild (unten) sogar mit bloßem Auge sichtbar sind.
Zu den zeitlichen Inkonsistenzen gehören ungewöhnliche Augenzwinkern, Kopfhaltungen, Gesichtsbewegungen und Helligkeitsänderungen in Videobildsequenzen.
deepfake Die Spuren, die der Generator in Raum und Zeit hinterlässt, können durch Deepfake-Detektoren aus tiefen neuronalen Netzen (DNN) identifiziert werden. Die weit verbreitete Verwendung bekannter Generative Adversarial Networks (GANs) in Deepfake-Generatoren stellt das Gleichgewicht zwischen Fake-Erkennung und -Generierung in Frage.
Deepfake-Erkennung
Deepfake Detector ist ein binäres Klassifizierungssystem, das bestimmt, ob eingegebene digitale Medien echt oder gefälscht sind. Die Deepfake-Erkennung wird nicht von einem einzelnen Blackbox-ähnlichen Modul durchgeführt, sondern besteht aus mehreren anderen Modulen und Schritten, die zusammenarbeiten, um Erkennungsergebnisse zu liefern. Übliche Schritte bei der Deepfake-Erkennung sind wie folgt [2].
- Deepfake Input aus digitalen Medien.
- Die Vorverarbeitung umfasst die Gesichtserkennung und -verbesserung.
- Feature-Extraktion verarbeiteter Frames.
- Klassifizierung/Erkennung.
- Authentizität des Ausgabebildes.
Ein typischer DL-basierter Deepfake-Detektor enthält 3 Hauptkomponenten, um die oben genannten Aufgaben auszuführen.
- Vorverarbeitungsmodul.
- Feature-Extraktionsmodul.
- Evaluator-Modul (Deep-Learning-Klassifikatormodell).
Die Hauptschritte werden als Nächstes im Detail erläutert: Datenvorverarbeitung, Merkmalsextraktion und Erkennungs-/Klassifizierungsprozess.
Datenvorverarbeitung
Nach der Datenerfassungsphase sollten die Daten vor den Trainings- und Testschritten zur Deepfake-Erkennung vorverarbeitet werden. Die Datenvorverarbeitung erfolgt automatisch mithilfe verfügbarer Bibliotheken wie OpenCV Python, MTCNN und YOLO usw.
Datenerweiterung spielt auch eine entscheidende Rolle bei der Verbesserung der Leistung von Deepfake-Detektoren. Augmentationstechniken wie Neuskalierung (Streckung), Scherkartierung, Skalierungserweiterung, Drehung, Helligkeitsänderungen und horizontales/vertikales Spiegeln können angewendet werden, um die Generalisierung des Datensatzes zu erhöhen [3].
Der erste Schritt bei der Datenvorverarbeitung besteht darin, einzelne Bilder aus dem Videoclip zu extrahieren. Nach dem Extrahieren der Bilder müssen Sie Gesichter aus den extrahierten Videobildern erkennen. Da Gesichtsregionen häufig Anomalien aufweisen, hilft die Auswahl nur der Gesichtsregionen dabei, dass sich das Merkmalsextraktionsmodell nur auf den interessierenden Bereich (Region of Interest, ROI) konzentriert, wodurch der Rechenaufwand für das Vollbildscannen eingespart wird. Sobald Gesichtsbereiche erkannt werden, werden sie vom Rest des Hintergrunds des Rahmens abgeschnitten und folgen einer Reihe von Schritten, um sie für das Modelltraining und -tests verfügbar zu machen. Ein weiterer Grund für das Zuschneiden von Gesichtsbereichen besteht darin, alle Eingabebilder in das Modell auf die gleiche Größe zu bringen.
Feature-Extraktion
Die im vorherigen Schritt vorverarbeiteten Frames werden an den Feature-Extraktor gesendet. Die meisten Merkmalsextraktoren basieren auf Convolutional Neural Networks (CNN). Einige neuere Studien haben die Wirksamkeit und Effizienzverbesserung des Kapselnetzwerks im Merkmalsextraktionsprozess nachgewiesen, was einen neuen Trend darstellt.
Der Feature-Extraktor extrahiert die räumlichen Features, die in den vorverarbeiteten Videobildern verfügbar sind. Durch die Merkmalsextraktion können visuelle Merkmale, lokale Merkmale/Gesichtsmerkmale wie die Position von Augen, Nase, Mund, Dynamik der Mundform, Blinzeln und andere biologische Merkmale extrahiert werden. Die extrahierten Merkmalsvektoren werden dann an das Klassifikatornetzwerk gesendet, um Entscheidungen auszugeben.
Klassifizierung
Das zur Klassifizierung verwendete Deep-Learning-Modell wird oft als Rückgrat des Deepfake-Detektors bezeichnet. Wie der Name schon sagt, ist das Klassifizierungsnetzwerk für die wichtigste Aufgabe in der Deepfake-Erkennungspipeline verantwortlich: nämlich die Klassifizierung und Bestimmung der Wahrscheinlichkeit, ob das Eingabevideo ein Deepfake ist. Die meisten Klassifikatoren sind binäre Klassifikatoren, bei denen die Deepfakes-Ausgabe (0) und die ursprüngliche Frame-Ausgabe (1) ist.
Der Klassifikator ist eine weitere Faltungsschicht (CNN) oder eine ähnliche Deep-Learning-Architektur wie LSTM oder ViT. Die tatsächlichen Fähigkeiten eines Klassifizierungsmodells variieren je nach verwendetem DNN. Beispielsweise können die im Feature-Extractor-Modul extrahierten Blink-Features vom LSTM-Modul im Klassifizierungsmodul verwendet werden, um die zeitliche Inkonsistenz von Frame-Blinkmustern zu bestimmen und auf dieser Grundlage zu bestimmen, ob es sich bei der Eingabe um einen Deepfake handelt [3]. In den meisten Fällen ist die letzte Schicht in einem Deepfake-Detektor eine vollständig verbundene Schicht. Da die Ausgaben der Faltungsschichten übergeordnete Merkmale der Daten darstellen, werden diese Ausgaben abgeflacht und zu einer einzigen Ausgabeschicht verkettet, um die endgültige Entscheidung zu treffen.
Zusammenfassung
In den letzten Jahren gab es bedeutende Entwicklungen sowohl bei der Erstellung als auch bei der Erkennung von Deepfakes. Auch die Forschung im Zusammenhang mit der Deepfake-Erkennung mithilfe der Deep-Learning-Technologie hat aufgrund der Genauigkeit der Ergebnisse im Vergleich zu Nicht-Deep-Learning-Methoden große Fortschritte gemacht. Bei der Implementierung von Deepfake-Detektoren werden häufig tiefe neuronale Netzwerkarchitekturen wie CNN, RNN, ViT und Kapselnetzwerke verwendet. Eine gängige Deepfake-Erkennungspipeline besteht aus einem Datenvorverarbeitungsmodul, einem CNN-basierten Merkmalsextraktor und einem Klassifizierungsmodul.
Darüber hinaus ist die Deepfake-Erkennung stark von den Spuren abhängig, die der Deepfake-Generator auf dem Deepfake hinterlässt. Da aktuelle GAN-basierte Deepfake-Generatoren in der Lage sind, realistischere Deepfakes mit minimalen Inkonsistenzen zu synthetisieren, müssen neue Methoden entwickelt werden, um die Deepfake-Erkennung zu optimieren. Deepfake-Erkennungsmethoden, die auf Deep-Ensemble-Learning-Techniken basieren, können als moderne und umfassende Methoden zur Bekämpfung von Deepfakes angesehen werden [4]. Dennoch besteht immer noch eine Lücke für effektive und effiziente Deepfake-Detektoren.
Das obige ist der detaillierte Inhalt vonÜberblick über die Deepfake-Erkennung basierend auf Deep Learning. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
