Maison Problème commun Qu'est-ce que le Big Data

Qu'est-ce que le Big Data

Apr 25, 2019 am 10:18 AM
大数据

Quest-ce que le Big Data

Le Big Data fait référence à une collection de données qui ne peuvent pas être capturées, gérées et traitées dans un certain laps de temps à l'aide d'outils logiciels conventionnels. Elles nécessitent de nouveaux modèles de traitement pour avoir des capacités massives, des actifs informationnels diversifiés et à forte croissance pour les capacités de prise de décision, de découverte d’informations et d’optimisation des processus.

Que peuvent faire les Big Data ?

Ce flux toujours croissant d'informations de capteurs, de photos, de textes, de données sonores et vidéo constitue le fondement du Big Data.

Nous pouvons désormais utiliser ces données d’une manière qui n’était même pas possible il y a quelques années. Désormais, les projets Big Data peuvent nous aider à :

Traiter les maladies et prévenir le cancer : médecine basée sur les données, qui implique l'analyse de grandes quantités de dossiers médicaux et d'images à la recherche de modèles pouvant aider à détecter la maladie à un stade précoce et à développer de nouveaux médicaments ; 🎜>

Nourrir les affamés – L'agriculture est révolutionnée par des données qui peuvent être utilisées pour maximiser les rendements des cultures, minimiser la quantité de polluants rejetés dans les écosystèmes et optimiser l'utilisation des machines et des équipements

Explorez au loin ; planètes - La NASA analyse des millions de points de données et les utilise pour modéliser toutes les possibilités d'atterrissage de ses rovers sur la surface de Mars et planifier de futures missions

Prédire et réagir aux catastrophes naturelles et d'origine humaine - analyser les données des capteurs pour prédisez les tremblements de terre qui pourraient survenir ensuite, et les modèles de comportement humain aident à fournir des indices aux organisations humanitaires pour secourir les survivants. La technologie des mégadonnées est également utilisée pour surveiller et protéger les réfugiés loin des zones de guerre dans le monde entier ;

Prévenir la criminalité - les forces de police adoptent de plus en plus de stratégies basées sur les données, basées sur leurs propres renseignements et sur des ensembles de données publiques pour déployer plus efficacement. ressources et agir comme un moyen de dissuasion en cas de besoin ;

Rendre notre vie quotidienne plus facile et plus pratique - achats en ligne, voyages de masse ou vacances de loisirs, choisir le meilleur moment pour réserver un vol ou décider des films à regarder ensuite… C'est tout est rendu plus facile grâce au Big Data.

Comment fonctionne le big data ?

Le fonctionnement du Big Data est que plus vous en savez sur quelque chose ou n'importe quelle situation, plus vous pouvez prédire de manière fiable ce qui se passera dans le futur. En comparant davantage de points de données, des relations auparavant cachées commenceront à émerger et, espérons-le, contiendront des informations sur la manière dont nous pouvons commencer à changer.

Généralement, cela se fait via un processus de construction d'un modèle basé sur les données que nous pouvons collecter, puis d'exécution de simulations, d'ajustement des valeurs des points de données à chaque fois et de surveillance de la manière dont cela affecte nos résultats. Ce processus est automatisé : la technologie d’analyse avancée actuelle exécutera des millions de ces simulations, ajustant toutes les variables possibles jusqu’à ce qu’un modèle ou une idée soit trouvé qui aide à résoudre le problème.

Les données nous parviennent de plus en plus sous forme non structurée, ce qui signifie qu'elles ne peuvent pas être facilement placées dans des tableaux structurés avec des lignes et des colonnes. Une grande partie de ces données se présentent sous la forme d'images et de vidéos - depuis les images satellite jusqu'aux photos téléchargées sur Facebook ou Twitter, en passant par les e-mails, les messages instantanés et les appels téléphoniques enregistrés. Pour donner un sens à tout cela, les projets Big Data utilisent souvent des analyses de pointe issues de l’intelligence artificielle et de l’apprentissage automatique. Par exemple, en apprenant aux ordinateurs à reconnaître ce que représentent ces données – grâce à la reconnaissance d’images ou au traitement du langage naturel – ils peuvent identifier des modèles de manière fiable, plus rapidement et de manière plus fiable que les humains.

Au cours des dernières années, il y a eu une forte tendance vers les outils et technologies Big Data via des plateformes « as-a-service ». Les entreprises et les organisations louent de l'espace serveur, des systèmes logiciels et de la puissance de traitement auprès de fournisseurs de services cloud tiers. Tout le travail est effectué sur les systèmes du prestataire de services et les clients ne paient que pour ce qui est utilisé. Ce modèle rend la découverte et la transformation basées sur le Big Data accessibles à toute organisation et élimine le besoin de dépenser des sommes importantes en matériel, logiciels, immobilier et personnel technique.

Problèmes liés au Big Data

Aujourd'hui, le Big Data nous offre des informations et des opportunités sans précédent, mais il soulève également des inquiétudes et des problèmes qui doivent être résolus :

Confidentialité des données – Les grandes quantités de données que nous générons aujourd’hui contiennent de nombreuses informations sur notre vie personnelle, dont nous avons le droit de garder la plupart d’entre elles confidentielles. De plus en plus, on nous demande d’équilibrer la quantité de données personnelles que nous divulguons avec la commodité offerte par les applications et services basés sur le Big Data. À qui permettons-nous l’accès à ces données ?

Sécurité des données – Même si nous convenons que quelqu'un possède nos données dans un but spécifique, pouvons-nous lui faire confiance pour les garder en sécurité ? Le cadre juridique existant est-il capable de réglementer l’utilisation des données à cette échelle ?

Discrimination relative aux données – Quand tout sera connu, sera-t-il acceptable de discriminer des personnes sur la base de données sur leur vie ? Nous utilisons déjà les cotes de crédit pour décider qui peut emprunter de l’argent, et l’assurance repose en grande partie sur des données. Nous pouvons nous attendre à une analyse et à une évaluation plus détaillées, et nous devons noter que cela n’a pas pour but de rendre la vie plus difficile à ceux qui disposent déjà de moins de ressources et d’un accès à l’information.

Relever ces défis fait également partie du « big data ». Ils constituent certainement un élément majeur du débat sur l’utilisation du Big Data dans le monde universitaire. Cependant, ceux qui souhaitent exploiter le Big Data pour leur entreprise doivent également y répondre. Ne pas le faire peut entraîner de lourdes amendes, car tout ce qui est fait concerne les données personnelles. Nous constatons à maintes reprises que l’incapacité à résoudre ces problèmes est souvent l’une des raisons pour lesquelles les initiatives Big Data des entreprises échouent.

Lorsque les gens commencent à parler de « big data », cela est parfois considéré comme une mode – le dernier terme technologique à la mode dont on parlera pendant un moment, puis de la prochaine grande nouveauté tranquillement. oublié. Cela n'a pas encore été prouvé - en fait, même si de nouveaux langages populaires sont apparus, le Big Data est toujours la force motrice de chacun d'entre eux. La quantité de données dont nous disposons ne fera qu’augmenter et les techniques d’analyse deviendront plus performantes.


Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
1 Il y a quelques mois By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
1 Il y a quelques mois By 尊渡假赌尊渡假赌尊渡假赌
Will R.E.P.O. Vous avez un jeu croisé?
1 Il y a quelques mois By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Compétences de traitement de structures de données volumineuses de PHP Compétences de traitement de structures de données volumineuses de PHP May 08, 2024 am 10:24 AM

Compétences en matière de traitement de la structure des Big Data : Chunking : décomposez l'ensemble de données et traitez-le en morceaux pour réduire la consommation de mémoire. Générateur : générez des éléments de données un par un sans charger l'intégralité de l'ensemble de données, adapté à des ensembles de données illimités. Streaming : lisez des fichiers ou interrogez les résultats ligne par ligne, adapté aux fichiers volumineux ou aux données distantes. Stockage externe : pour les ensembles de données très volumineux, stockez les données dans une base de données ou NoSQL.

Partage d'expérience en développement C++ : Expérience pratique en programmation Big Data C++ Partage d'expérience en développement C++ : Expérience pratique en programmation Big Data C++ Nov 22, 2023 am 09:14 AM

À l'ère d'Internet, le Big Data est devenu une nouvelle ressource. Avec l'amélioration continue de la technologie d'analyse du Big Data, la demande de programmation Big Data est devenue de plus en plus urgente. En tant que langage de programmation largement utilisé, les avantages uniques du C++ dans la programmation Big Data sont devenus de plus en plus importants. Ci-dessous, je partagerai mon expérience pratique dans la programmation Big Data C++. 1. Choisir la structure de données appropriée Le choix de la structure de données appropriée est une partie importante de l'écriture de programmes Big Data efficaces. Il existe une variété de structures de données en C++ que nous pouvons utiliser, telles que des tableaux, des listes chaînées, des arbres, des tables de hachage, etc.

Cinq tendances majeures de développement dans l'industrie AEC/O en 2024 Cinq tendances majeures de développement dans l'industrie AEC/O en 2024 Apr 19, 2024 pm 02:50 PM

AEC/O (Architecture, Engineering & Construction/Operation) fait référence aux services complets qui assurent la conception architecturale, la conception technique, la construction et l’exploitation dans le secteur de la construction. En 2024, l’industrie de l’AEC/O est confrontée à des défis changeants au milieu des progrès technologiques. Cette année devrait voir l’intégration de technologies avancées, annonçant un changement de paradigme dans la conception, la construction et l’exploitation. En réponse à ces changements, les industries redéfinissent les processus de travail, ajustent les priorités et renforcent la collaboration pour s'adapter aux besoins d'un monde en évolution rapide. Les cinq tendances majeures suivantes dans l'industrie AEC/O deviendront des thèmes clés en 2024, lui recommandant d'évoluer vers un avenir plus intégré, réactif et durable : chaîne d'approvisionnement intégrée, fabrication intelligente.

Application d'algorithmes dans la construction de 58 plateformes de portraits Application d'algorithmes dans la construction de 58 plateformes de portraits May 09, 2024 am 09:01 AM

1. Contexte de la construction de la plateforme 58 Portraits Tout d'abord, je voudrais partager avec vous le contexte de la construction de la plateforme 58 Portraits. 1. La pensée traditionnelle de la plate-forme de profilage traditionnelle ne suffit plus. La création d'une plate-forme de profilage des utilisateurs s'appuie sur des capacités de modélisation d'entrepôt de données pour intégrer les données de plusieurs secteurs d'activité afin de créer des portraits d'utilisateurs précis. Elle nécessite également l'exploration de données pour comprendre le comportement et les intérêts des utilisateurs. et besoins, et fournir des capacités côté algorithmes ; enfin, il doit également disposer de capacités de plate-forme de données pour stocker, interroger et partager efficacement les données de profil utilisateur et fournir des services de profil. La principale différence entre une plate-forme de profilage d'entreprise auto-construite et une plate-forme de profilage de middle-office est que la plate-forme de profilage auto-construite dessert un seul secteur d'activité et peut être personnalisée à la demande. La plate-forme de mid-office dessert plusieurs secteurs d'activité et est complexe ; modélisation et offre des fonctionnalités plus générales. 2.58 Portraits d'utilisateurs de l'arrière-plan de la construction du portrait sur la plate-forme médiane 58

Discussion sur les raisons et les solutions au manque de framework Big Data en langage Go Discussion sur les raisons et les solutions au manque de framework Big Data en langage Go Mar 29, 2024 pm 12:24 PM

À l’ère actuelle du Big Data, le traitement et l’analyse des données sont devenus un support important pour le développement de diverses industries. En tant que langage de programmation doté d'une efficacité de développement élevée et de performances supérieures, le langage Go a progressivement attiré l'attention dans le domaine du big data. Cependant, par rapport à d'autres langages tels que Java, Python, etc., le langage Go prend en charge relativement mal les frameworks Big Data, ce qui a causé des problèmes à certains développeurs. Cet article explorera les principales raisons du manque de framework Big Data dans le langage Go, proposera des solutions correspondantes et l'illustrera avec des exemples de code spécifiques. 1. Allez dans la langue

IA, jumeaux numériques, visualisation... Points forts de la conférence de lancement de produit d'automne 2023 de Yizhiwei ! IA, jumeaux numériques, visualisation... Points forts de la conférence de lancement de produit d'automne 2023 de Yizhiwei ! Nov 14, 2023 pm 05:29 PM

Le lancement du produit d'automne 2023 de Yizhiwei s'est terminé avec succès ! Revoyons ensemble les moments forts de la conférence ! 1. Une ouverture intelligente et inclusive, permettant aux jumeaux numériques de devenir productifs Ning Haiyuan, co-fondateur de Kangaroo Cloud et PDG de Yizhiwei, a déclaré dans son discours d'ouverture : Lors de la réunion stratégique de l'entreprise de cette année, nous avons positionné l'orientation principale de la recherche et du développement de produits comme « Ouverture intelligente et inclusive » « Trois capacités principales, en nous concentrant sur les trois mots-clés fondamentaux de « l'ouverture intelligente et inclusive », nous avons en outre proposé l'objectif de développement consistant à « faire des jumeaux numériques une force productive ». 2. EasyTwin : explorez un nouveau moteur de jumeau numérique plus facile à utiliser 1. De la version 0.1 à 1.0, continuez à explorer le moteur de rendu de fusion jumelle numérique pour obtenir de meilleures solutions avec un mode d'édition 3D mature, des plans interactifs pratiques et des ressources de modèle massives.

Premiers pas : utiliser le langage Go pour traiter le Big Data Premiers pas : utiliser le langage Go pour traiter le Big Data Feb 25, 2024 pm 09:51 PM

En tant que langage de programmation open source, le langage Go a progressivement reçu une attention et une utilisation généralisées ces dernières années. Il est privilégié par les programmeurs pour sa simplicité, son efficacité et ses puissantes capacités de traitement simultané. Dans le domaine du traitement du Big Data, le langage Go a également un fort potentiel. Il peut être utilisé pour traiter des données massives, optimiser les performances et peut être bien intégré à divers outils et frameworks de traitement du Big Data. Dans cet article, nous présenterons quelques concepts et techniques de base du traitement du Big Data en langage Go, et montrerons comment utiliser le langage Go à travers des exemples de code spécifiques.

Traitement du Big Data en technologie C++ : Comment utiliser les bases de données en mémoire pour optimiser les performances du Big Data ? Traitement du Big Data en technologie C++ : Comment utiliser les bases de données en mémoire pour optimiser les performances du Big Data ? May 31, 2024 pm 07:34 PM

Dans le traitement du Big Data, l'utilisation d'une base de données en mémoire (telle qu'Aerospike) peut améliorer les performances des applications C++ car elle stocke les données dans la mémoire de l'ordinateur, éliminant ainsi les goulots d'étranglement d'E/S disque et augmentant considérablement les vitesses d'accès aux données. Des cas pratiques montrent que la vitesse de requête lors de l'utilisation d'une base de données en mémoire est plusieurs fois plus rapide que lors de l'utilisation d'une base de données sur disque dur.