데이터 분석 - 자바 데이터 마이닝 분석 아이디어

Question

먼저 내 생각에 대해 이야기해보자. 타오바오에 있는 여러 품목의 가격을 동시에 모니터링한 다음 가격 추세를 파악한다(크롤러를 작성해 직접 파악한 다음 데이터베이스에 저장할 계획이다). 문제가 발생했습니다

지난 2일 또는 7일(바람직하게는 임의의 일수) 동안 어떤 품목의 가격 변동이 가장 큰지 분석할 수 있도록 데이터를 어떻게 저장해야 하며, 이를 더 잘 구현하는 방법은 무엇입니까? 가격 차이를 찾기 위해 매일 데이터베이스를 탐색해야 한다고 말할 수는 없습니다. 숙련된 마스터가 조언을 해줄 수 있나요?

Answer 1

가격 차이를 찾기 위해 매일 데이터베이스를 순회해야 한다고는 말할 수 없겠죠 비용이 너무 높다고 생각하시나요? 그런 다음 핫 데이터를 캐시에 저장하고 이 핫 시간 이후에 데이터베이스에 유지합니다.

핫 데이터는 다음과 같지만 이에 국한되지는 않습니다.

• 요즘 막 모은 데이터

• 가장 일반적으로 분석되는 기간(예: 2일, 7일, 1개월)

Answer 2

이건 자바와는 관련이 없겠죠?

Answer 3

데이터 분석 방법은 Java와 밀접한 관련이 없습니다. 특정 관점에서 Java는 아이디어를 계산으로 옮기고 컴퓨터와 통신할 수 있는 도구일 뿐입니다. 그것에 대해 알아보세요

Answer 4

분석해야 할 빠르게 변화하는 데이터 --> 메모리에 배치된 redis
장기 기록 데이터 --> 오라클, 디스크에 위치.