Python ajoute des colonnes à 8 000 lignes de CSV

Question

Je souhaite ajouter plus de 2 000 colonnes au csv existant avec plus de 8 000 colonnes. Étant donné que le fichier est trop volumineux, il ne peut pas être chargé dans la mémoire en une seule fois, je souhaite donc l'écrire dans le csv existant colonne par colonne. J'ai essayé de nombreuses méthodes. Aucune d'entre elles ne fonctionne, dites-moi comment le résoudre

Answer 1

Lisez les lignes puis ajoutez ces colonnes. CSV est généralement un fichier texte délimité par des virgules et peut être traité selon la méthode de traitement des fichiers texte. Le processus général est le suivant :
1. Lisez une ligne
2. Divisez la chaîne en un tableau avec des virgules
3 Ajoutez les éléments de colonne souhaités au tableau
4. Connectez les tableaux avec des virgules comme délimiteurs
5. Entrez un nouveau fichier
6. Allez simplement à la fin du fichier.

Answer 2

pandas a un bloc de lecture, exemple de code

import pandas as pd

reader = pd.read_csv('a.csv', iterator=True)

header = True
try:
    df = reader.get_chunk(10000)

    #循环加添新列到df
    df['新列'] = '值'

    #把记录追加到新csv
    df.to_csv('b.csv', mode='a', index=False, header=header)
    
    #文件头只写一次
    header = False

except StopIteration:
    pass