Analyse des données - idées d'analyse d'exploration de données Java

Question

Parlons d'abord de mon idée : surveiller les prix de plusieurs articles sur Taobao en même temps, puis obtenir la tendance des prix (je prévois d'écrire un robot pour l'obtenir moi-même, puis de le stocker dans la base de données), mais un problème survient

Comment dois-je stocker les données afin de pouvoir analyser quels articles ont connu les plus grandes fluctuations de prix au cours des 2 ou 7 derniers jours (de préférence n'importe quel nombre de jours), et comment mieux mettre en œuvre cela. Je ne peux pas dire que je dois parcourir la base de données tous les jours pour trouver la différence de prix. Un maître expérimenté peut-il me donner quelques conseils ?

Answer 1

Je ne peux pas dire que je dois parcourir la base de données tous les jours pour trouver la différence de prix, n'est-ce pas Pensez-vous que le coût est trop élevé ? Ensuite, placez les données chaudes dans le cache et conservez-les dans la base de données après cette période chaude.

Les données de points d'accès peuvent être, sans toutefois s'y limiter :

• Données récemment collectées ces derniers jours

• La plage de dates la plus couramment analysée, telle que 2 jours, 7 jours, 1 mois

Answer 2

Cela n'a rien à voir avec Java, n'est-ce pas ?

Answer 3

Les méthodes d'analyse des données ne sont pas fortement liées à Java. D'un certain point de vue, Java n'est qu'un outil qui peut transférer vos idées en calculs et vous permettre de communiquer avec les ordinateurs. Il existe un écosystème haoop basé sur Java, qui peut apprendre à connaître.

Answer 4

Données à évolution rapide qui doivent être analysées --> Données chaudes --> redis, stockées en mémoire
Données historiques à long terme --> Données froides --> mysql / oracle, stockées sur disque.