Table des matières
Pour être honnête, l'IA peut réduire la discrimination fondée sur le sexe
Maison Périphériques technologiques IA Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

Apr 14, 2023 am 08:43 AM
ai 性别 歧视

De nombreuses études ont montré que l’IA est si éhontée qu’elle a appris à discriminer les gens sur la base du sexe.

Comment cela peut-il être fait ?

Récemment, une étude de Tsinghua & Fudan a donné des suggestions à ce sujet :

Si vous voulez retirer l'IA de la voie du sexisme, la gronder ne sera pas efficace.

Le meilleur moyen est de comprendre pourquoi l'enfant est comme ça, puis de lui donner le bon médicament et la bonne raison.

Parce que si vous vous contentez d'enseigner sans être raisonnable et violemment correct, l'IA sera effrayée et stupide (les performances diminueront) !

Oh Maika, c'est difficile d'élever une bête mangeuse d'or à quatre pattes, est-ce si difficile d'élever un cyber-enfant (xun) ?

Jetons un coup d'œil aux suggestions de ce groupe d'« infirmières et nounous » en IA pour la formation des enfants.

Pour être honnête, l'IA peut réduire la discrimination fondée sur le sexe

Avant cette époque, ce n'était pas que personne ne tirait les oreilles de l'IA qui avait pris du retard, essayant de se débarrasser de la mauvaise habitude de favoriser les garçons par rapport aux filles.

Cependant, la plupart des méthodes de débiaisation actuelles dégraderont les performances du modèle sur d'autres tâches.

Par exemple, si vous laissez l'IA affaiblir la discrimination sexuelle, elle produira ce résultat ennuyeux :

Soit elle ne sera pas capable de dire si le sexe de "papa" est masculin ou féminin, soit elle fera des erreurs grammaticales et oubliera suivre la troisième personne du verbe + s.

Ce qui est encore plus embêtant, c’est que ce mécanisme de dégradation n’a pas encore été étudié.

Ou bien abandonnez simplement les modèles présentant des préjugés sexistes évidents——

En 2018, Amazon a remarqué que le modèle utilisé pour filtrer automatiquement les CV était discriminé à l'égard des chercheuses d'emploi, et a donc caché le système.

Sinon, vous devrez supporter la dégradation des performances.

Se pourrait-il que si vous voulez que l'IA ne soit plus une IA à gaffe ou une IA à problème, l'IA perdra-t-elle définitivement la tête ?

Les recherches Tsinghua & Fudan disent non à cela.

Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

Leur domaine de recherche concerne les modèles linguistiques pré-entraînés.

C'est parce qu'il montre son pouvoir magique dans diverses tâches de PNL et propose de nombreux scénarios pratiques.

Ce n’est pas une bonne idée lorsqu’il est utilisé dans la publicité en ligne, les systèmes automatisés de sélection de CV, l’éducation et d’autres travaux sociaux comportant des préjugés sexistes.

La recherche propose un cadre théorique sur l'origine des préjugés sexistes de l'IA, un cadre causal, qui est utilisé pour expliquer comment le déséquilibre des données conduit à des préjugés sexistes dans le modèle pendant le processus de pré-formation.

Ils définissent le biais de genre du modèle pré-entraîné lors de l'exécution d'une tâche de prédiction spécifique comme suit :

Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

où M est le modèle, Y est le mot à prédire avec M et B est le degré de préjugés sexistes de M.

Y0|W est la vérité terrain, la probabilité d'être un mot à caractère masculin ou féminin est de moitié, Y|W est la prédiction de M.

Si le Y prédit par M est déséquilibré et réparti entre les sexes, alors le modèle M présente un biais sexiste dans la prédiction de Y0 en fonction de w.

Pendant le processus de pré-entraînement, l'algorithme d'optimisation détermine les paramètres dans la partie d'intégration et K en fonction des données de pré-entraînement D.

Par conséquent, le déséquilibre des données D induit le modèle en erreur en obtenant des paramètres incorrects.

Par exemple, si le mot « docteur » dans les données d'entraînement est plus souvent associé au vocabulaire masculin, le modèle tiendra pour acquis que « docteur » est associé au « genre masculin ».

Avez-vous vu ce triangle ? Utilisons-le pour expliquer pourquoi la méthode actuelle de correction de l'IA la rendra stupide.

Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

Lors de l'application du modèle pré-entraîné pour prédire Y en fonction de W, le modèle convertit d'abord W en X extrait, puis détermine la moyenne de Y en fonction de X et K.

En raison de paramètres trompeurs dans la partie plongée, W a été converti en X incorrect et K était également incorrect.

Après une opération, le mauvais X et le mauvais K conduisent ensemble à une erreur dans Y.

Ces erreurs, et leurs interactions, conduisent à des préjugés sexistes à travers trois mécanismes potentiels.

Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

En d’autres termes, à ce stade, des préjugés sexistes sont apparus.

Comment fonctionne la méthode actuelle de débiaisation de l’IA pédagogique ?

Toutes les méthodes de débiasing actuelles interviennent dans un ou deux des trois mécanismes.

Les détails sont les suivants :

  • Améliorer l'intervention des données sur D et intervenir dans les trois mécanismes.
  • En éliminant la projection géométrique de X sur l'espace de genre dans K, le chemin de D→X→K→Y est coupé.
  • La méthode de régularisation de l'égalité des sexes déforme soit la relation entre D et X, soit la relation entre D et K, donc ce type de méthode interfère avec les mécanismes de D→X→Y et D→X→K→Y.

Après avoir expliqué le dilemme biais-performance existant dans les méthodes de débiasing actuelles, l'équipe a tenté de proposer une méthode de réglage fin.

Ils ont découvert que parmi les trois mécanismes, D → X → Y est le seul qui conduit à des préjugés sexistes et n'a rien à voir avec le transformateur.

Si la méthode de réglage fin corrige uniquement le biais via D → X → Y, elle peut réduire les biais sexistes tout en maintenant les performances du modèle.

Sur la base du théorème de décomposition, l'équipe a mené des expériences numériques.

Il s'avère que cette approche peut rapporter un double dividende :

Réduire certains préjugés sexistes tout en évitant la dégradation des performances.

Après des expérimentations, les membres de l'équipe ont localisé la source des préjugés sexistes de l'IA dans les deux architectures du modèle de pré-formation : l'intégration de mots et la conversion.

Selon cela, l'équipe de recherche a proposé la méthode C4D, qui réduit les préjugés sexistes en ajustant l'intégration des marqueurs.

L'idée principale de cette méthode est de réduire la fonction TDE en corrigeant le X erroné, réduisant ainsi l'écart total.

Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

Bien que l'équipe ne sache pas quelle est la bonne intégration de marqueurs, elle a développé une méthode basée sur le gradient pour déduire la vérité terrain sous-jacente.

Tout est prêt, l'équipe a appliqué la méthode C4D aux résultats du test GPT-2 en débiaisant.

Les résultats montrent que parmi toutes les méthodes de test, la méthode C4D présente la plus faible perplexité sur les petits, moyens et très grands GPT-2.

Dans le GPT-2 à grande échelle, la perplexité du C4D s'est classée deuxième, seulement 0,4 % pire que le score le plus élevé.

Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

De plus, la méthode ayant le score le plus élevé a un effet débiaisant sur le sexisme plus faible que la C4D.

Sur l'ensemble de données GLUE, la méthode C4D a obtenu le score moyen le plus élevé.

Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

Cela montre que C4D peut réduire considérablement les préjugés sexistes et maintenir les performances des modèles.

Après avoir écouté tant d’introductions théoriques, regardons une illustration pour avoir une idée intuitive.

Dans les trois images ci-dessous, les points bleus représentent les préjugés masculins cachés et les points rouges représentent les préjugés féminins.

L'image (a) est la compréhension originale de l'IA ; l'image (b) est la compréhension de l'IA après que les humains l'ont réprimandée sans but ; l'image (c) est la compréhension de l'IA après que les humains ont trouvé la raison et l'ont patiemment expliquée.

Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

Dans les figures (b) et (c), les intégrations des préjugés masculins et féminins sont plus concentrées, ce qui signifie que le niveau de biais est plus faible.

Dans le même temps, on peut remarquer que l'intégration dans la figure (c) conserve toujours la topologie de la figure (a), c'est pourquoi la méthode C4D peut maintenir les performances du modèle.

Chercheur : Elle pourrait également être en mesure de réduire d'autres biais de l'IA

"Bien que cette méthode puisse atténuer efficacement les préjugés sexistes de l'IA dans les modèles de langage, elle n'est toujours pas suffisante pour l'éliminer complètement."

——Les chercheurs honnêtement a souligné ce problème.

Si vous souhaitez corriger davantage les biais de l'IA sans réduire les performances de l'IA, vous devez mieux comprendre le mécanisme des modèles de langage.

Comment mieux le comprendre ?

D’une part, nous utilisons la « méthode C4D » proposée dans cette étude pour tester d’autres biais en IA.

Le principal objet de recherche de cette expérimentation est : les préjugés sexistes sur le lieu de travail.

En fait, parce que l'IA a constamment appris toutes sortes d'informations auparavant, c'est celle qui accepte tous ceux qui viennent. En conséquence, elle a accidentellement contracté des problèmes sociaux inhérents tels que la discrimination religieuse, la préférence anti-noirs et blancs. ..

Alors, autant aller vers GPT-2 et tester l'effet final de la suppression des autres biais.

En revanche, vous pouvez essayer la « méthode C4D » sur une variété de grands modèles.

En plus du GPT-2 utilisé dans cette étude, comme le modèle de pré-formation classique PNL BERT développé par Google, c'est également un bon scénario de test.

Cependant, si vous souhaitez le transplanter sur d'autres modèles, vous devez régénérer le modèle de correction et vous devrez peut-être utiliser la fonction multivariable TDE (Template Driven Extraction).

En utilisant la fonction TDE, vous pouvez directement mettre du contenu dans l'index sans modifier la structure du document.

Certains internautes sont venus avec une tête de chien dans les bras :

Pour sauver une IA qui a commis une erreur, vous ne pouvez pas vous contenter de coups et de réprimandes.

De manière générale, il est inévitable de devenir une « IA trébuchante » lorsqu'on entre dans la société.

Mais si vous voulez faire revenir le fils prodigue de "l'IA qui s'est trompée", trouvez la bonne méthode et raisonnez avec, elle aura quand même de bons résultats~

De plus, un des membres de la recherche Yu Yang de l'Université Tsinghua, a déclaré sur son Weibo personnel qu'après Il y aura également un site Web sur la question de la discrimination sexuelle dans les modèles d'IA qui sera lancé dans les deux prochains jours.

Vous pouvez l'attendre avec impatience !

Adresse papier : https://arxiv.org/abs/2211.07350 Lien de référence : ​https://weibo.com/1645372340/Mi4E43PUY#comment

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js? Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js? Apr 07, 2025 pm 09:39 PM

Lors de la conversion des chaînes en objets dans vue.js, JSON.Parse () est préféré pour les chaînes JSON standard. Pour les chaînes JSON non standard, la chaîne peut être traitée en utilisant des expressions régulières et réduisez les méthodes en fonction du format ou du codé décodé par URL. Sélectionnez la méthode appropriée en fonction du format de chaîne et faites attention aux problèmes de sécurité et d'encodage pour éviter les bogues.

Comment utiliser MySQL après l'installation Comment utiliser MySQL après l'installation Apr 08, 2025 am 11:48 AM

L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.

Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Apr 08, 2025 pm 12:24 PM

Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives avec la technologie géospatiale. Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives. Exigences initiales du projet de défi: extraire des informations précieuses en utilisant 7 millions d'enregistrements dans la base de données MySQL. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante? Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. Recherche de cartes basée sur la ville

Comment résoudre MySQL ne peut pas être démarré Comment résoudre MySQL ne peut pas être démarré Apr 08, 2025 pm 02:21 PM

Il existe de nombreuses raisons pour lesquelles la startup MySQL échoue, et elle peut être diagnostiquée en vérifiant le journal des erreurs. Les causes courantes incluent les conflits de port (vérifier l'occupation du port et la configuration de modification), les problèmes d'autorisation (vérifier le service exécutant les autorisations des utilisateurs), les erreurs de fichier de configuration (vérifier les paramètres des paramètres), la corruption du répertoire de données (restaurer les données ou reconstruire l'espace de la table), les problèmes d'espace de la table InNODB (vérifier les fichiers IBDATA1), la défaillance du chargement du plug-in (vérification du journal des erreurs). Lors de la résolution de problèmes, vous devez les analyser en fonction du journal d'erreur, trouver la cause profonde du problème et développer l'habitude de sauvegarder régulièrement les données pour prévenir et résoudre des problèmes.

Vue.js Comment convertir un tableau de type de chaîne en un tableau d'objets? Vue.js Comment convertir un tableau de type de chaîne en un tableau d'objets? Apr 07, 2025 pm 09:36 PM

Résumé: Il existe les méthodes suivantes pour convertir les tableaux de chaîne Vue.js en tableaux d'objets: Méthode de base: utilisez la fonction de carte pour convenir à des données formatées régulières. Gameplay avancé: l'utilisation d'expressions régulières peut gérer des formats complexes, mais ils doivent être soigneusement écrits et considérés. Optimisation des performances: Considérant la grande quantité de données, des opérations asynchrones ou des bibliothèques efficaces de traitement des données peuvent être utilisées. MEILLEUR PRATIQUE: Effacer le style de code, utilisez des noms de variables significatifs et des commentaires pour garder le code concis.

Comment définir le délai de Vue Axios Comment définir le délai de Vue Axios Apr 07, 2025 pm 10:03 PM

Afin de définir le délai d'expiration de Vue Axios, nous pouvons créer une instance AxiOS et spécifier l'option Timeout: dans les paramètres globaux: vue.prototype. $ Axios = axios.create ({timeout: 5000}); Dans une seule demande: ce. $ axios.get ('/ api / utilisateurs', {timeout: 10000}).

Comment optimiser les performances de la base de données après l'installation de MySQL Comment optimiser les performances de la base de données après l'installation de MySQL Apr 08, 2025 am 11:36 AM

L'optimisation des performances MySQL doit commencer à partir de trois aspects: configuration d'installation, indexation et optimisation des requêtes, surveillance et réglage. 1. Après l'installation, vous devez ajuster le fichier my.cnf en fonction de la configuration du serveur, tel que le paramètre innodb_buffer_pool_size, et fermer query_cache_size; 2. Créez un index approprié pour éviter les index excessifs et optimiser les instructions de requête, telles que l'utilisation de la commande Explication pour analyser le plan d'exécution; 3. Utilisez le propre outil de surveillance de MySQL (ShowProcessList, Showstatus) pour surveiller la santé de la base de données, et sauvegarde régulièrement et organisez la base de données. Ce n'est qu'en optimisant en continu ces étapes que les performances de la base de données MySQL peuvent être améliorées.

Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Apr 08, 2025 pm 12:27 PM

Ingénieur backend à distance Emploi Vacant Société: Emplacement du cercle: Bureau à distance Type d'emploi: Salaire à temps plein: 130 000 $ - 140 000 $ Description du poste Participez à la recherche et au développement des applications mobiles Circle et des fonctionnalités publiques liées à l'API couvrant l'intégralité du cycle de vie de développement logiciel. Les principales responsabilités complètent indépendamment les travaux de développement basés sur RubyOnRails et collaborent avec l'équipe frontale React / Redux / Relay. Créez les fonctionnalités de base et les améliorations des applications Web et travaillez en étroite collaboration avec les concepteurs et le leadership tout au long du processus de conception fonctionnelle. Promouvoir les processus de développement positifs et hiérarchiser la vitesse d'itération. Nécessite plus de 6 ans de backend d'applications Web complexe

See all articles