Quel est le processus de développement d'applications Big Data ?

Étapes de développement d'un projet Big Data :

Première étape : Exigences : saisie et sortie de données

La deuxième étape ; : volume de données, efficacité de traitement, fiabilité, maintenabilité, simplicité ;

La troisième étape : la modélisation des données

La quatrième étape : la conception de l'architecture : comment les données entrent, comment afficher la sortie ; , le plus important est l'architecture de traitement des données sortantes ;

Étape 5 : Repensez l'interaction entre le système Big Data et le système informatique de l'entreprise ;

Étape 6 : Détermination finale des choix , spécifications, etc. ;

Étape 7 : Écrire le code de service de base basé sur la modélisation des données ;

Étape 8 : Écrire formellement le premier module

Neuvième étape : Mettre en œuvre d'autres ; modules, et terminer les tests et le débogage ;

Étape 10 : Test et acceptation

Processus Big Data :

Du point de vue du processus, l'ensemble Le traitement du Big Data peut être divisé en 4 étapes principales.

La première étape est la collecte et le stockage des données ;

La deuxième étape consiste à mener une recherche exploratoire sur les données grâce à la technologie d'analyse des données, y compris l'élimination des données non pertinentes, c'est-à-dire les données nettoyage et recherche de données Le modèle explore la valeur des données ;

La troisième étape consiste à sélectionner et à développer des algorithmes d'analyse de données pour modéliser les données sur la base d'une analyse de base des données. Extraire des informations précieuses à partir de données est en fait le véritable processus d’apprentissage du Big Data d’Alibaba Cloud. Cela impliquera de nombreux algorithmes et technologies, tels que les algorithmes d'apprentissage automatique

La dernière étape est le déploiement et l'application du modèle, c'est-à-dire l'application du modèle recherché à l'environnement de production ;

1) Collecte de données : programme de collecte développé sur mesure, ou à l'aide du framework open source Flume

2) Prétraitement des données : programme mapreduce développé sur mesure s'exécutant sur le cluster hadoop

3) Technologie data Warehouse : Hive basée sur hadoop

4) Exportation de données : outil d'importation et d'exportation de données sqoop basé sur hadoop

5) Visualisation de données : développement personnalisé de programmes web ou utilisation de produits tels que bouilloire

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!