이 상황에서 Python은 pickle이나 csv를 사용해야 합니까?

Question

일부 데이터를 저장하기 위해 수백 개의 M CSV 파일이 준비되어 있으며 이러한 데이터를 읽고 플롯하기 위해 pandas 및 matplotlib를 사용해야 하는 경우가 많습니다. 그림을 그리기 전에 일반적으로 전처리, 슬라이싱 및 기타 정리 작업을 수행해야 합니다. 그림은 자주 상호 작용하고 보고되어야 하기 때문에 Jupyter Notebook에서 %matplotlib notebook를 사용하여 원본 데이터에서 이러한 작업을 수행하고 상호 작용합니다. 다음 디스플레이를 위한 중간 데이터를 얻기 위해 csv에서 직접 읽을 수 있도록 데이터를 csv에 저장해야 합니까, 아니면 이후 사용을 위해 피클을 읽는 것이 더 빠르도록 피클을 사용하여 저장해야 합니까?

Answer 1

CSV는 안전해야 합니다. 피클을 다른 Python 버전으로 변경하면 읽기 오류가 발생할 수 있는 것 같습니다. 수백 메가바이트라면 실제로 csv 읽기 속도는 느리지 않습니다. 게다가 hdf5도 있는데 이는 심각한 데이터 교환 형식입니다.

Answer 2

csv이면 충분합니다. 속도가 충분하지 않다고 생각되면 hdf5 파일을 사용해 보세요