Généralement, il est exporté sous forme de fichiers. Si les données d'une unité sont d'environ 1 Mo, elles seront divisées en 1024 fichiers.
De plus, il n'est pas pratique de synthétiser un CSV 1G, car un CSV 1G est quasiment impossible à ouvrir. Si vous voulez vraiment synthétiser 1G, vous pouvez synthétiser plus d'un millier de fichiers exportés dans un CSV. La synthèse de fichiers est facile à réaliser en Python.
L'utilisation de l'intranet FTP pour télécharger est très rapide. J'ai téléchargé 8g il y a deux jours. J'ai l'impression que le téléchargement n'a pris que quelques minutes
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
Généralement, il est exporté sous forme de fichiers. Si les données d'une unité sont d'environ 1 Mo, elles seront divisées en 1024 fichiers.
De plus, il n'est pas pratique de synthétiser un CSV 1G, car un CSV 1G est quasiment impossible à ouvrir. Si vous voulez vraiment synthétiser 1G, vous pouvez synthétiser plus d'un millier de fichiers exportés dans un CSV. La synthèse de fichiers est facile à réaliser en Python.
Le traitement CSV mensuel des données 1G n'est pas raisonnable. Essayez sqlite3.
8G ne suffit pas. Il est recommandé de choisir une base de données comme solution de stockage. Un CSV 1G n'a aucun sens.
L'utilisation de l'intranet FTP pour télécharger est très rapide. J'ai téléchargé 8g il y a deux jours. J'ai l'impression que le téléchargement n'a pris que quelques minutes
.