python - 2천만 개의 구조화된 데이터에 대한 데이터 분석을 수행하는 방법

Question

시계열 분석, 그룹별 분석, 추세 예측을 준비하는 중입니다. Python 데이터 프레임을 사용하는 것으로 충분합니까?

Answer 1

1. SQL Server 데이터베이스인 경우 Olap을 수행할 수 있는 데이터 웨어하우스가 내장되어 있습니다.
2. Hadoop 클러스터가 있는 경우 분석 작업을 위해 클러스터로 가져올 수도 있습니다. 위의 어느 것도 사용할 수 없으며 머신 구성이 좋고 메모리도 충분하므로 pandas를 사용하여 수행하세요