Table des matières
Je m'en souviens, mais pas beaucoup
Résultats de l'extraction
Diffusion vs GAN
Problèmes de droit d'auteur
Maison Périphériques technologiques IA Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

Apr 16, 2023 pm 02:10 PM
图像 模型

L'année dernière, les modèles de génération d'images sont devenus populaires. Après un carnaval d'art populaire, des problèmes de droits d'auteur ont suivi.

Les modèles d'apprentissage profond comme DALL-E 2, Imagen et Stable Diffusion sont formés sur des centaines de millions de données Il n'y a aucun moyen de se débarrasser de l'influence de l'ensemble d'entraînement, mais si certaines images générées le sont . Complètement issu du set de formation ? Si l'image générée est très similaire à l'image originale, À qui appartiennent les droits d'auteur ?

Récemment, des chercheurs de nombreuses universités et entreprises renommées telles que Google, Deepmind et l'ETH Zurich ont publié conjointement un article. Ils ont découvert que le modèle de diffusion peut effectivement mémoriser les échantillons de l'ensemble de formation, et dans. Reproduire pendant le processus de génération.

Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

Lien papier :​https://arxiv.org/abs/2301.13188​

Dans ce travail, les chercheurs montrent comment le modèle de diffusion se souvient dans ses données d'entraînement d'une seule image et reproduisez-le une fois généré.

Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

L'article propose un pipeline generate-and-filter(generate-and-filter), qui extrait plus d'un millier d'exemples de formation à partir des modèles les plus avancés, couvrant les photos et les marques de personnes d'entreprise logo, etc Nous avons également formé des centaines de modèles de diffusion dans différents environnements pour analyser l'impact des différentes décisions en matière de modélisation et de données sur la confidentialité.

En général, les résultats expérimentaux montrent que le modèle de diffusion offre une protection de la vie privée bien pire pour l'ensemble de formation que les modèles génératifs précédents (tels que les GAN).

Je m'en souviens, mais pas beaucoup

Le modèle de diffusion de débruitage est un nouveau réseau neuronal génératif qui a émergé récemment. Il génère des images à partir de la distribution de formation via un processus de débruitage itératif, qui est meilleur que le GAN couramment utilisé auparavant. Ou la génération de modèles VAE est meilleure, et il est plus facile d'étendre la génération de modèles et de contrôler l'image, elle est donc rapidement devenue une méthode courante pour diverses générations d'images haute résolution.

Surtout après la sortie de DALL-E 2 par OpenAI, le modèle de diffusion est rapidement devenu populaire dans tout le domaine de la génération d'IA.

L'attrait des modèles de diffusion générative vient de leur capacité à synthétiser de nouvelles images ostensiblement différentes de tout ce qui se trouve dans l'ensemble de formation. En fait, les efforts de formation à grande échelle passés "n'ont pas trouvé de problèmes de surapprentissage", ont déclaré les chercheurs dans le domaine privé. domaine sensible a même proposé que le modèle de diffusion puisse « protéger la confidentialité des images réelles » en synthétisant des images.

Cependant, ces travaux reposent tous sur une hypothèse :

C'est-à-dire que le modèle de diffusion ne mémorisera pas et ne régénérera pas les données d'entraînement, sinon il violerait la garantie de confidentialité et causerait de nombreux problèmes de généralisation du modèle et de falsification numérique.

Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

Mais est-ce vraiment le cas ?

Pour déterminer si l'image générée provient de l'ensemble d'entraînement, vous devez d'abord définir

qu'est-ce que la « mémorisation ».

Les travaux connexes précédents se sont principalement concentrés sur les modèles de langage textuel. Si le modèle peut récupérer textuellement une séquence enregistrée textuellement à partir de l'ensemble d'entraînement, alors cette séquence est appelée « extraction » et « mémoire » mais parce que ce travail est basé sur des valeurs élevées ; -images à haute résolution, donc la correspondance mot à mot des définitions de mémoire n'est pas adaptée.

Ce qui suit est une mémoire basée sur des mesures de similarité d'images définies par les chercheurs.

Si la distance entre une image générée x et plusieurs échantillons dans l'ensemble d'apprentissage est inférieure à un seuil donné, alors l'échantillon est considéré comme obtenu à partir de l'ensemble d'apprentissage, c'est-à-dire la mémorisation eidétique.

Ensuite, l'article a conçu une attaque d'extraction de donnéesMéthode :

1 Générer un grand nombre d'images

Bien que la première étape soit très simple, elle est coûteuse en calcul. Très élevé : génère des images sous forme de boîte noire en utilisant l'invite sélectionnée comme entrée.

Les chercheurs ont généré 500 images candidates pour chaque invite de texte afin d'augmenter les chances de découvrir des souvenirs.

2. Effectuez une inférence d'adhésion

et marquez les images suspectées d'être générées en fonction de la mémoire de l'ensemble d'entraînement.

La stratégie d'attaque par inférence de membres conçue par les chercheurs repose sur l'idée suivante : pour deux graines initiales aléatoires différentes, la probabilité de similarité entre les deux images générées par le modèle de diffusion sera très grande, et il est possible de être considéré en fonction de la mémoire sous la métrique de distance générée.

Résultats de l'extraction

Pour évaluer l'efficacité de l'attaque, les chercheurs ont sélectionné les 350 000 exemples les plus répétés de l'ensemble de données de formation et ont généré 500 images candidates pour chaque invite (un total de 175 millions d'images ont été générées).

Triez d'abord toutes ces images générées en fonction de la distance moyenne entre les images dans la clique pour identifier celles qui ont probablement été générées par la mémorisation des données d'entraînement.

Ensuite, ces images générées ont été comparées aux images d'entraînement, et chaque image a été marquée comme « extraite » et « non extraite ». Finalement, 94 images ont été trouvées soupçonnées d'être extraites de l'ensemble d'entraînement.

Grâce à une analyse visuelle, les 1 000 premières images ont été manuellement étiquetées comme « mémorisées » ou « non mémorisées », et il a été constaté que 13 images avaient été générées en copiant des échantillons d'entraînement.

Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

À partir de la courbe P-R, cette méthode d'attaque est très précise : sur 175 millions d'images générées, 50 images mémorisées peuvent être identifiées, et le taux de faux positifs est de 0 ; peut être extrait avec une précision supérieure à 50 %

Afin de mieux comprendre comment et pourquoi la mémoire se produit, les chercheurs ont également formé des centaines d'images comparatives sur le modèle de petite diffusion CIFAR10 pour analyser l'impact de la précision du modèle, des hyperparamètres, de l'augmentation, et la déduplication sur la confidentialité.

Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

Diffusion vs GAN

Contrairement aux modèles de diffusion, les GAN ne sont pas explicitement formés pour mémoriser et reconstruire leurs ensembles de données de formation.

Les GAN sont constitués de deux réseaux de neurones concurrents : un générateur et un discriminateur. Le générateur reçoit également du bruit aléatoire en entrée, mais contrairement au modèle de diffusion, il doit convertir ce bruit en une image valide en un seul passage.

Dans le processus de formation du GAN, le discriminateur doit prédire si l'image provient du générateur, et le générateur doit s'améliorer pour tromper le discriminateur.

Donc, la différence entre les deux est que le générateur de GAN n'utilise que des informations indirectes sur les données d'entraînement pour l'entraînement (c'est-à-dire en utilisant le gradient du discriminateur) et ne reçoit pas directement les données d'entraînement en entrée.

Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

1 million d'images d'entraînement générées de manière inconditionnelle extraites de différents modèles de génération pré-entraînés, puis le modèle GAN trié par FID (le plus bas est le mieux) est placé en haut, et le modèle de diffusion est placé en dessous.

Les résultats montrent que le modèle de diffusion mémorise plus que le modèle GAN, et que les meilleurs modèles génératifs (FID inférieur) ont tendance à mémoriser plus de données, c'est-à-dire que le modèle de diffusion est l'image la moins privée. La forme du modèle fuit plus de deux fois plus autant de données de formation que les GAN.

Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

Et à partir des résultats ci-dessus, nous pouvons également constater que la technologie d'amélioration de la confidentialité existante ne fournit pas un compromis acceptable en matière de confidentialité et de performances. Si vous souhaitez améliorer la qualité de la génération, vous devez mémoriser davantage de données. dans l'ensemble de formation.

Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

Dans l'ensemble, cet article met en évidence la tension entre les modèles génératifs de plus en plus puissants et la confidentialité des données, et soulève des questions sur le fonctionnement des modèles de diffusion et sur la manière dont ils peuvent être déployés de manière responsable.

Problèmes de droit d'auteur

Techniquement parlant, la reconstruction est l'avantage du modèle de diffusion mais du point de vue du droit d'auteur, la reconstruction est sa faiblesse ;

En raison de la similitude excessive entre les images générées par le modèle de diffusion et les données de formation, les artistes ont divers différends sur leurs problèmes de droits d'auteur.

Par exemple, il est interdit à l'IA d'utiliser ses propres œuvres pour la formation, les œuvres publiées ajoutent un grand nombre de filigranes, etc. ; et Stable Diffusion a également annoncé qu'elle prévoyait d'utiliser uniquement des ensembles de données de formation contenant du contenu autorisé dans le étape suivante et fournit un mécanisme de sortie d'artiste.

Nous sommes également confrontés à ce problème dans le domaine de la PNL. Certains internautes ont déclaré que des millions de mots de texte ont été publiés depuis 1993, et que toutes les IA, y compris ChatGPT-3, sont formées sur le « contenu volé », en utilisant des modèles génératifs basés sur l'IA. est contraire à l’éthique.

Pas aussi bon que GAN ! Google, DeepMind et d'autres ont publié des articles : les modèles de diffusion sont « copiés » directement à partir de l'ensemble de formation

Bien que de nombreux articles dans le monde soient plagiés, pour les gens ordinaires, le plagiat n'est qu'un raccourci inutile, mais pour les créateurs, le contenu plagié est leur travail acharné.

Le modèle de diffusion aura-t-il encore des avantages à l'avenir ?

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! Mar 21, 2024 pm 05:21 PM

Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies : la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.

See all articles