Périphériques technologiques
IA
Ce que vous devez savoir sur ces rôles au sein d'une équipe de science des données
Ce que vous devez savoir sur ces rôles au sein d'une équipe de science des données
Traducteur | Li Rui
Critique | Sun Shujuan
Le service de streaming de renommée mondiale Netflix a changé son système de notation cinq étoiles en 2017 en « pouce levé » (j'aime) et « pouce vers le bas » (Je n'aime pas) Système de notation simple. Le système peut recommander des films en fonction d’un pourcentage de correspondances, mais certaines personnes trouvent cela répréhensible. Alors, comment réduire toutes les nuances de l’art du cinéma à une réponse binaire primitive ?
En fait, Netflix a découvert que les gens évaluaient les films qu’ils jugeaient bons, mais pas nécessairement. C'est du moins ce que disent les données. Alors, comment fonctionne l’analyse des données dans une entreprise comme Netflix ? Quel est le rôle de l’équipe data science ?
NETFLIX FEEDBACK SYSTEM
Gibson Biddle est l'ancien vice-président et directeur des produits de Netflix. Parlant des connaissances des consommateurs, il a expliqué le comportement inattendu des clients qui a conduit à des changements dans l'ensemble du système de notation. Lorsqu'elle est convertie en pourcentage, Netflix a déclaré que même si les téléspectateurs pourraient aimer regarder la comédie d'Adam Sandler, la note pourrait être aussi basse que trois étoiles, tandis que les téléspectateurs pourraient se sentir mieux en regardant La Liste de Schindler et lui attribuer une note de cinq étoiles. , mais cela n'ajoute rien à son plaisir global, et garder les abonnés satisfaits est crucial pour Netflix. Par conséquent, ils ont simplifié le système de rétroaction pour éviter les biais. Mais ces informations sur les clients sont impressionnantes en soi, et elles ne seraient pas possibles sans une culture qui favorise l’utilisation des données et une infrastructure de données solide. En termes techniques, cela s’appelle une organisation basée sur les données.
Organisation basée sur les données
Les gens ont peut-être entendu le terme populaire « piloté par les données » à plusieurs reprises, mais qu'est-ce que cela signifie réellement ? Netflix à lui seul enregistre plus de 700 milliards d'événements chaque jour, depuis la connexion et le clic sur les vignettes des films jusqu'à la mise en pause des vidéos et l'activation des sous-titres. Toutes ces données sont disponibles pour les utilisateurs. Tout le monde peut y accéder à l'aide d'outils de visualisation tels que Tableau ou Jupiter, ou via le portail Big Data, un environnement qui permet aux utilisateurs d'inspecter des rapports, de générer des rapports ou d'interroger toutes les informations dont ils ont besoin. Ces données sont ensuite utilisées pour prendre des décisions commerciales, depuis des miniatures plus petites, telles que les miniatures à afficher, jusqu'aux décisions d'entreprise, telles que les émissions dans lesquelles Netflix devrait investir et lancer ensuite.
Netflix n'est pas la seule organisation axée sur les données. On estime qu'environ 97 % des entreprises Fortune 1000 investissent dans des projets tels que l'intelligence artificielle et le big data. Voici un aperçu de la véritable technologie d'infrastructure de données et des ingénieurs de données qui la font fonctionner.
Technologie d'infrastructure de données
Pour décrire le fonctionnement de l'infrastructure de données, les technologues empruntent le terme « pipelines » qui transportent généralement des liquides ou des gaz. Un pipeline de données possède son propre point de départ, son propre point d'arrivée et ses propres stations intermédiaires. C’est donc une métaphore très appropriée. La source des données peut aller du clic sur un bouton de maintien et de l'actualisation d'une page à une conversation enregistrée avec le support client, d'un dispositif de suivi de véhicule à un capteur de vibrations de turbine dans une centrale électrique. Dans le monde d'aujourd'hui, il est en fait difficile de dire ce qui ne peut pas être généré et qui peut dire quelque chose aux gens, même sans données.
Une fois qu'un élément de données est généré, il descend dans le pipeline jusqu'à la zone de préparation. C'est ici que toutes les données brutes sont enregistrées. Les données brutes ne sont pas encore prêtes à être utilisées. Vous devez être préparé. Si cela n’est pas fait, les lacunes doivent être comblées, le format modifié ou les données provenant de différentes sources combinées pour obtenir une vue plus nuancée. Une fois ces opérations réalisées, vous disposerez de données structurées et propres. Toutes ces opérations sont effectuées automatiquement. Ils sont décrits en deux mots.
- Extraction : extrayez les données de la source de données et envoyez-les à la zone de préparation.
- Transformation : préparez les données pour la consommation et le chargement pour pousser les données préparées plus loin dans ETL.
Toutes les données préparées vont dans un autre stockage, l'entrepôt de données.
Entrepôt de données
Contrairement à une zone de préparation, un entrepôt de données est l'endroit où tous les enregistrements stockés sont structurés et prêts à être utilisés. Tout comme le système de classification d'une bibliothèque, les informations de l'entrepôt peuvent être interrogées, visualisées et téléchargées. Pour cela, disposer d’un logiciel de business intelligence (BI) est indispensable. Il présente les données à l'utilisateur final.
Data Listing et Business Analysts
Data Listing et Business Analysts sont des personnes qui effectuent des tâches de base. Ils accèdent aux données, les explorent, les visualisent et tentent de leur donner un sens commercial. Par exemple, les campagnes marketing de l’entreprise sont-elles efficaces ? Quelles sont les chaînes les moins performantes ? Ils agissent comme un système sensoriel, soutenant les entreprises avec des données historiques et fournissant des informations à la direction et, en fin de compte, aux décideurs.
Data Engineer
Data Engineer est responsable de la construction de l'ensemble du pipeline. La plupart des techniciens connaissent bien ce qu'on appelle la « tuyauterie ». Déplacez les données de la source à la destination via des pipelines, en les transformant en cours de route. Ils conçoivent l'architecture du pipeline, mettent en place le processus ETL, configurent l'entrepôt et le connectent aux outils de reporting. Par exemple, Airbnb compte environ 50 ingénieurs de données. L’entreprise peut parfois être confrontée à une approche plus élaborée qui implique quelques règles supplémentaires. Par exemple, les ingénieurs en qualité des données veillent à ce que les données soient capturées et transformées correctement. Avoir des données biaisées ou incorrectes coûte trop cher lorsqu’on essaie d’en tirer des décisions. Il peut y avoir un ingénieur distinct responsable uniquement de l'ETL. De plus, les développeurs de business intelligence se concentrent uniquement sur l’intégration d’outils de reporting et de visualisation. Cependant, les outils de reporting ne font pas la une des journaux, et l’ingénieur de données n’est pas le meilleur métier du 21e siècle, mais l’apprentissage automatique et le data scientist le sont probablement.
Machine Learning et Data Scientists
Il est bien connu que les data scientists sont particulièrement doués pour collecter des données et répondre à des questions complexes à ce sujet, comme par exemple quel sera le chiffre d'affaires de l'entreprise au prochain trimestre ? Quand arrivera la voiture programmée avec Uber ? Quelles sont les chances d’aimer La Liste de Schindler et Uncut Gems ?
Il existe en fait deux façons de répondre à ces questions. Les data scientists travaillent avec des outils de business intelligence et des données d'entrepôt, tout comme les analystes commerciaux et les analystes de données. Ainsi, ils obtiendront les données de l’entrepôt. Parfois, les data scientists utilisent un lac de données : un autre type de stockage pour les données frauduleuses non structurées. Ils créeront un modèle de prévision et proposeront des prévisions pouvant être utilisées par la direction. C'est utile pour les rapports ponctuels sur les estimations de revenus, mais ce n'est pas utile pour prédire les heures d'arrivée des voitures pour les rendez-vous Uber.
La vraie valeur de l'apprentissage automatique est que les modèles de production peuvent fonctionner automatiquement et générer régulièrement des réponses à des questions complexes, parfois des milliers de fois par seconde, et que les choses qu'ils peuvent gérer sont beaucoup plus complexes.
Produire des modèles d'apprentissage automatique
Pour que le modèle fonctionne, une infrastructure est également nécessaire. Parfois, c'est un gros problème. Les data scientists explorent les données dans les entrepôts de données et les lacs de données, mènent des expériences sur celles-ci, sélectionnent des algorithmes et entraînent des modèles pour produire le code final d'apprentissage automatique. Cela nécessite une compréhension approfondie des bases de données statistiques, des algorithmes d’apprentissage automatique et des domaines.
Josh Wills, l'ancien responsable de l'ingénierie des données au SLAC, a déclaré sur Twitter : "Les data scientists sont des gens qui sont meilleurs en statistiques que n'importe quel ingénieur logiciel."
Par exemple, les commanditaires utilisent le logiciel ubereats pour commander de la nourriture. Une fois que l'utilisateur confirme la commande, l'application doit estimer le délai de livraison, l'emplacement du client, le restaurant et les données de commande à envoyer à un serveur sur lequel un modèle d'apprentissage automatique de prédiction de livraison est déployé. Mais ces données ne suffisent pas. Le modèle extrait également des données supplémentaires d'une base de données distincte contenant les temps moyens de préparation des restaurants et d'autres détails. Une fois toutes les données disponibles, le modèle renvoie des prédictions au donneur d'ordre. Mais le processus ne s’arrête pas là. Les prédictions elles-mêmes sont enregistrées dans une base de données distincte. Il visera à surveiller les performances du modèle et à explorer le modèle grâce à des outils d'analyse afin de pouvoir le mettre à jour ultérieurement. Toutes ces données finissent dans des lacs de données et des entrepôts de données.
En fait, le service de commande de nourriture ubereats utilise à lui seul des centaines de modèles différents travaillant simultanément pour noter les recommandations, classer les restaurants dans les recherches et estimer les délais de livraison.
Conclusion
Adam Waxman, responsable des technologies de base chez Foursquare, estime qu'il n'y aura plus de data scientists ni d'ingénieurs en apprentissage automatique à l'avenir, car avec l'automatisation de la formation des modèles et la construction continue d'environnements de production, de nombreux data scientists les emplois deviendront des logiciels Caractéristiques communes du développement.
Titre original : Rôles dans les équipes de science des données, auteur : Anomi Ragendran
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Cet article vous amènera à comprendre SHAP : explication du modèle pour l'apprentissage automatique
Jun 01, 2024 am 10:58 AM
Dans les domaines de l’apprentissage automatique et de la science des données, l’interprétabilité des modèles a toujours été au centre des préoccupations des chercheurs et des praticiens. Avec l'application généralisée de modèles complexes tels que l'apprentissage profond et les méthodes d'ensemble, la compréhension du processus décisionnel du modèle est devenue particulièrement importante. Explainable AI|XAI contribue à renforcer la confiance dans les modèles d'apprentissage automatique en augmentant la transparence du modèle. L'amélioration de la transparence des modèles peut être obtenue grâce à des méthodes telles que l'utilisation généralisée de plusieurs modèles complexes, ainsi que les processus décisionnels utilisés pour expliquer les modèles. Ces méthodes incluent l'analyse de l'importance des caractéristiques, l'estimation de l'intervalle de prédiction du modèle, les algorithmes d'interprétabilité locale, etc. L'analyse de l'importance des fonctionnalités peut expliquer le processus de prise de décision du modèle en évaluant le degré d'influence du modèle sur les fonctionnalités d'entrée. Estimation de l’intervalle de prédiction du modèle
Transparent! Une analyse approfondie des principes des principaux modèles de machine learning !
Apr 12, 2024 pm 05:55 PM
En termes simples, un modèle d’apprentissage automatique est une fonction mathématique qui mappe les données d’entrée à une sortie prédite. Plus précisément, un modèle d'apprentissage automatique est une fonction mathématique qui ajuste les paramètres du modèle en apprenant à partir des données d'entraînement afin de minimiser l'erreur entre la sortie prédite et la véritable étiquette. Il existe de nombreux modèles dans l'apprentissage automatique, tels que les modèles de régression logistique, les modèles d'arbre de décision, les modèles de machines à vecteurs de support, etc. Chaque modèle a ses types de données et ses types de problèmes applicables. Dans le même temps, il existe de nombreux points communs entre les différents modèles, ou il existe une voie cachée pour l’évolution du modèle. En prenant comme exemple le perceptron connexionniste, en augmentant le nombre de couches cachées du perceptron, nous pouvons le transformer en un réseau neuronal profond. Si une fonction noyau est ajoutée au perceptron, elle peut être convertie en SVM. celui-ci
Identifier le surapprentissage et le sous-apprentissage grâce à des courbes d'apprentissage
Apr 29, 2024 pm 06:50 PM
Cet article présentera comment identifier efficacement le surajustement et le sous-apprentissage dans les modèles d'apprentissage automatique grâce à des courbes d'apprentissage. Sous-ajustement et surajustement 1. Surajustement Si un modèle est surentraîné sur les données de sorte qu'il en tire du bruit, alors on dit que le modèle est en surajustement. Un modèle surajusté apprend chaque exemple si parfaitement qu'il classera mal un exemple inédit/inédit. Pour un modèle surajusté, nous obtiendrons un score d'ensemble d'entraînement parfait/presque parfait et un score d'ensemble/test de validation épouvantable. Légèrement modifié : "Cause du surajustement : utilisez un modèle complexe pour résoudre un problème simple et extraire le bruit des données. Parce qu'un petit ensemble de données en tant qu'ensemble d'entraînement peut ne pas représenter la représentation correcte de toutes les données."
L'évolution de l'intelligence artificielle dans l'exploration spatiale et l'ingénierie des établissements humains
Apr 29, 2024 pm 03:25 PM
Dans les années 1950, l’intelligence artificielle (IA) est née. C’est à ce moment-là que les chercheurs ont découvert que les machines pouvaient effectuer des tâches similaires à celles des humains, comme penser. Plus tard, dans les années 1960, le Département américain de la Défense a financé l’intelligence artificielle et créé des laboratoires pour poursuivre son développement. Les chercheurs trouvent des applications à l’intelligence artificielle dans de nombreux domaines, comme l’exploration spatiale et la survie dans des environnements extrêmes. L'exploration spatiale est l'étude de l'univers, qui couvre l'ensemble de l'univers au-delà de la terre. L’espace est classé comme environnement extrême car ses conditions sont différentes de celles de la Terre. Pour survivre dans l’espace, de nombreux facteurs doivent être pris en compte et des précautions doivent être prises. Les scientifiques et les chercheurs pensent qu'explorer l'espace et comprendre l'état actuel de tout peut aider à comprendre le fonctionnement de l'univers et à se préparer à d'éventuelles crises environnementales.
Implémentation d'algorithmes d'apprentissage automatique en C++ : défis et solutions courants
Jun 03, 2024 pm 01:25 PM
Les défis courants rencontrés par les algorithmes d'apprentissage automatique en C++ incluent la gestion de la mémoire, le multithread, l'optimisation des performances et la maintenabilité. Les solutions incluent l'utilisation de pointeurs intelligents, de bibliothèques de threads modernes, d'instructions SIMD et de bibliothèques tierces, ainsi que le respect des directives de style de codage et l'utilisation d'outils d'automatisation. Des cas pratiques montrent comment utiliser la bibliothèque Eigen pour implémenter des algorithmes de régression linéaire, gérer efficacement la mémoire et utiliser des opérations matricielles hautes performances.
IA explicable : Expliquer les modèles IA/ML complexes
Jun 03, 2024 pm 10:08 PM
Traducteur | Revu par Li Rui | Chonglou Les modèles d'intelligence artificielle (IA) et d'apprentissage automatique (ML) deviennent aujourd'hui de plus en plus complexes, et le résultat produit par ces modèles est une boîte noire – impossible à expliquer aux parties prenantes. L'IA explicable (XAI) vise à résoudre ce problème en permettant aux parties prenantes de comprendre comment fonctionnent ces modèles, en s'assurant qu'elles comprennent comment ces modèles prennent réellement des décisions et en garantissant la transparence des systèmes d'IA, la confiance et la responsabilité pour résoudre ce problème. Cet article explore diverses techniques d'intelligence artificielle explicable (XAI) pour illustrer leurs principes sous-jacents. Plusieurs raisons pour lesquelles l’IA explicable est cruciale Confiance et transparence : pour que les systèmes d’IA soient largement acceptés et fiables, les utilisateurs doivent comprendre comment les décisions sont prises
Cinq écoles d'apprentissage automatique que vous ne connaissez pas
Jun 05, 2024 pm 08:51 PM
L'apprentissage automatique est une branche importante de l'intelligence artificielle qui donne aux ordinateurs la possibilité d'apprendre à partir de données et d'améliorer leurs capacités sans être explicitement programmés. L'apprentissage automatique a un large éventail d'applications dans divers domaines, de la reconnaissance d'images et du traitement du langage naturel aux systèmes de recommandation et à la détection des fraudes, et il change notre façon de vivre. Il existe de nombreuses méthodes et théories différentes dans le domaine de l'apprentissage automatique, parmi lesquelles les cinq méthodes les plus influentes sont appelées les « Cinq écoles d'apprentissage automatique ». Les cinq grandes écoles sont l’école symbolique, l’école connexionniste, l’école évolutionniste, l’école bayésienne et l’école analogique. 1. Le symbolisme, également connu sous le nom de symbolisme, met l'accent sur l'utilisation de symboles pour le raisonnement logique et l'expression des connaissances. Cette école de pensée estime que l'apprentissage est un processus de déduction inversée, à travers les connaissances existantes.
Flash Attention est-il stable ? Meta et Harvard ont constaté que les écarts de poids de leur modèle fluctuaient de plusieurs ordres de grandeur.
May 30, 2024 pm 01:24 PM
MetaFAIR s'est associé à Harvard pour fournir un nouveau cadre de recherche permettant d'optimiser le biais de données généré lors de l'apprentissage automatique à grande échelle. On sait que la formation de grands modèles de langage prend souvent des mois et utilise des centaines, voire des milliers de GPU. En prenant comme exemple le modèle LLaMA270B, sa formation nécessite un total de 1 720 320 heures GPU. La formation de grands modèles présente des défis systémiques uniques en raison de l’ampleur et de la complexité de ces charges de travail. Récemment, de nombreuses institutions ont signalé une instabilité dans le processus de formation lors de la formation des modèles d'IA générative SOTA. Elles apparaissent généralement sous la forme de pics de pertes. Par exemple, le modèle PaLM de Google a connu jusqu'à 20 pics de pertes au cours du processus de formation. Le biais numérique est à l'origine de cette imprécision de la formation,
