Quelles sont les technologies de base du big data ?

Les technologies de base comprennent : 1. Collecte de données Il existe quatre sources principales de collecte de données, à savoir le système d'information de gestion, le système d'information Web, le système d'information physique et le système d'expérimentation scientifique. 2. Accès aux données. 3. Infrastructure, telle que le stockage cloud, le stockage de fichiers distribués, etc. 4. Traitement des données : collecter, organiser, nettoyer et convertir les données de différents ensembles de données pour générer un nouvel ensemble de données. 5. Analyse statistique. 6. Exploration de données. 7. Prédiction de modèles, tels que les modèles prédictifs, l'apprentissage automatique, la modélisation et la simulation. 8. Présentation des résultats, tels que le cloud computing, le nuage de tags, le diagramme de relations, etc.

L'environnement d'exploitation de cet article : système Windows 7, ordinateur Dell G3.

Les technologies de base du Big Data comprennent la collecte de données, l'accès aux données, l'infrastructure, le traitement des données, l'analyse statistique, l'exploration de données, la prédiction de modèles et la présentation des résultats.

1. Collecte de données : Dans le cycle de vie du Big Data, la collecte de données est la première étape. Selon la classification des systèmes d'application qui génèrent des données à partir de MapReduce, il existe quatre sources principales de collecte de données volumineuses : les systèmes d'information de gestion, les systèmes d'information Web, les systèmes d'information physiques et les systèmes d'expérimentation scientifique.

2. Accès aux données : L'accès au Big data adopte différentes voies techniques et peut être grossièrement divisé en trois catégories. La catégorie 1 concerne principalement les données structurées à grande échelle. La catégorie 2 concerne principalement les données semi-structurées et non structurées. La catégorie 3 fait face à un mélange de big data structurés et non structurés,

3 Infrastructure : stockage cloud, stockage de fichiers distribués, etc.

4. Traitement des données : pour différents ensembles de données collectées, il peut exister différentes structures et modèles, tels que des fichiers, des arbres XML, des tables relationnelles, etc., ce qui se reflète dans l'hétérogénéité des données. Pour plusieurs ensembles de données hétérogènes, un traitement d'intégration ou un traitement d'intégration supplémentaire est requis. Après la collecte, le tri, le nettoyage et la conversion des données de différents ensembles de données, elles sont générées dans un nouvel ensemble de données pour fournir une unification pour le traitement ultérieur des données de requête et d'analyse. .

5. Analyse statistique : test d'hypothèse, test de signification, analyse de différence, analyse de corrélation, test T, analyse de variance, analyse du chi carré, analyse de corrélation partielle, analyse de distance, analyse de régression, analyse de régression simple, régression multiple. Analyse, régression pas à pas, prédiction de régression et analyse résiduelle, régression de crête, analyse de régression logistique, estimation de courbe, analyse factorielle, analyse typologique, analyse en composantes principales, analyse factorielle, méthode de regroupement rapide et méthode de regroupement, analyse discriminante, analyse des correspondances, analyse des correspondances multivariées (analyse à l'échelle optimale), technologie bootstrap, etc.

6. Exploration de données : à l'heure actuelle, il est encore nécessaire d'améliorer les technologies existantes d'exploration de données et d'apprentissage automatique ; connexions de données basées sur les données, technologies de fusion de Big Data telles que la connexion par similarité ; percées dans les technologies d'exploration de Big Data orientées sur le terrain telles que l'analyse des intérêts des utilisateurs, l'analyse du comportement des réseaux et l'analyse sémantique émotionnelle.

7. Prédiction du modèle : modèle de prédiction, apprentissage automatique, modélisation et simulation.

8. Présentation des résultats : cloud computing, nuage de tags, diagramme de relations, etc.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!