Comment Golang gère les fichiers volumineux

En développement, nous rencontrons souvent des situations où nous devons traiter des fichiers volumineux. En tant que langage efficace et adapté au traitement simultané, le langage Go impliquera naturellement le traitement de fichiers volumineux. Que vous lisiez, écriviez ou modifiiez des fichiers volumineux, vous devez prendre en compte certains problèmes, tels que : Comment éviter les fuites de mémoire ? Comment y faire face efficacement ? Dans cet article, nous présenterons plusieurs méthodes de traitement de fichiers volumineux et nous concentrerons sur la façon de gérer les fichiers trop volumineux pour éviter les plantages du programme.

1. Utilisez le traitement de segmentation

En général, que vous lisiez, écriviez ou modifiiez des fichiers volumineux, vous devez réfléchir à la manière d'éviter les fuites de mémoire et les plantages de programmes. Afin de traiter efficacement des fichiers volumineux, le traitement fractionné est souvent utilisé pour diviser le gros fichier en plusieurs petits fichiers, puis lire et écrire les petits fichiers.

En langage Go, nous pouvons diviser des fichiers via les méthodes io.LimitReader() et io.MultiReader() pour diviser un gros fichier en plusieurs petits fichiers. Utilisez multi. -enfilage. io.LimitReader() 和io.MultiReader()方法来分割文件，将大文件分割成多个小文件，运用多线程处理。

通过以下代码的方式读取超过 500MB 的大文件：

var (
    maxSize int64 = 100 * 1024 * 1024 //100MB
)
func readBigFile(filename string) (err error) {
    file, err := os.Open(filename)
    if err != nil {
        return err
    }
    defer file.Close()

    fileInfo, err := file.Stat()
    if err != nil {
        return err
    }

    if fileInfo.Size() <= maxSize {
        _, err = io.Copy(os.Stdout, file)
    } else {
        n := (fileInfo.Size() + (maxSize - 1)) / maxSize
        var err error
        for i := int64(0); i < n; i++ {
            eachSize := maxSize
            if i == n-1 {
                eachSize = fileInfo.Size() - (n-1)*maxSize
            }
            sectionReader := io.NewSectionReader(file, i*maxSize, eachSize)
            _, err = io.Copy(os.Stdout, sectionReader)
            if err != nil {
                return err
            }
        }
    }
    return nil
}

在上述代码中，当读取到的文件大小超过最大允许值时，会使用复合读取方式，将大文件分成大小相同的多个区块进行读取，最后合并成最终结果。

以上的方式当然是针对读取大文件过程做优化，有的时候我们也会有文件写入方面的需求。

2. 写入大文件

Go中写入大文件有一个最简单的方法，就是使用bufio.NewWriterSize()函数包裹上os.File()，并在Write前判断当前缓冲区是否已经满，满了之后调用Flush()方法将缓冲区中的数据写入到硬盘中。这种写入大文件的方式实现简单易行，适合大文件的写入。

    writer := bufio.NewWriterSize(file, size)
    defer writer.Flush()
    _, err = writer.Write(data)

3. 处理大型CSV文件

除了读取和写入大文件，我们还可能会处理大型CSV文件。在处理CSV文件时，如果文件过大，会导致一些程序崩溃的问题，因此我们需要使用一些工具来处理这些大型CSV文件。Go 语言提供了一种名为 goroutine 和 channel 的机制，可以同时处理多个文件，从而达到快速处理大型CSV文件的目的。

在 Go 语言中，我们可以使用csv.NewReader()和csv.NewWriter()方法分别构建读取和写入 CSV 文件的处理器，然后按照行扫描文件以读取数据。在 CSV 文件中使用一个管道来处理数据按照行存储的方式。

func readCSVFile(path string, ch chan []string) {
    file, err := os.Open(path)
    if err != nil {
        log.Fatal("读取文件失败:", err)
    }
    defer file.Close()
    reader := csv.NewReader(file)
    for {
        record, err := reader.Read()
        if err == io.EOF {
            break
        } else if err != nil {
            log.Fatal("csv文件读取失败:", err)
        }
        ch <- record
    }
    close(ch)
}

func writeCSVFile(path string, ch chan []string) {
    file, err := os.Create(path)
    if err != nil {
        log.Fatal("创建csv文件失败:", err)
    }
    defer file.Close()
    writer := csv.NewWriter(file)
    for record := range ch {
        if err := writer.Write(record); err != nil {
            log.Fatal("csv文件写入失败: ", err)
        }
        writer.Flush()
    }
}

在上述代码中，使用csv.NewReader()

Lisez les fichiers volumineux dépassant 500 Mo via le code suivant :

rrreee

Dans le code ci-dessus, lorsque la taille du fichier lu dépasse la valeur maximale autorisée, la méthode de lecture composée sera utilisée pour diviser le fichier volumineux en fichiers multiples de taille égale. les blocs sont lus et finalement fusionnés dans le résultat final.

La méthode ci-dessus est bien sûr optimisée pour le processus de lecture de fichiers volumineux. Parfois, nous avons également des besoins en écriture de fichiers.

Écrire des fichiers volumineux
🎜Le moyen le plus simple d'écrire des fichiers volumineux dans Go est d'utiliser la fonction bufio.NewWriterSize() pour envelopper le système d'exploitation . File() et déterminez si le tampon actuel est plein avant d'écrire. Une fois qu'il est plein, appelez la méthode Flush() pour écrire les données du tampon sur le disque dur. Cette méthode d’écriture de fichiers volumineux est simple et facile à mettre en œuvre et convient à l’écriture de fichiers volumineux. 🎜rrreee
🎜Gestion des gros fichiers CSV🎜🎜🎜En plus de lire et d'écrire des fichiers volumineux, nous pouvons également traiter des fichiers CSV volumineux. Lors du traitement de fichiers CSV, si le fichier est trop volumineux, cela entraînera des plantages du programme, nous devons donc utiliser certains outils pour traiter ces gros fichiers CSV. Le langage Go fournit un mécanisme appelé goroutine et canal, qui peut traiter plusieurs fichiers en même temps pour atteindre l'objectif de traitement rapide de gros fichiers CSV. 🎜🎜En langage Go, nous pouvons utiliser les méthodes csv.NewReader() et csv.NewWriter() pour construire des processeurs pour lire et écrire des fichiers CSV respectivement, puis scanner le fichier ligne par ligne pour lire les données. Utilisez un pipeline dans le fichier CSV pour traiter la façon dont les données sont stockées ligne par ligne. 🎜rrreee🎜Dans le code ci-dessus, utilisez la méthode csv.NewReader() pour parcourir le fichier, stocker chaque ligne de données dans un tableau, puis envoyer le tableau au canal. Lors de la lecture du fichier CSV, nous avons utilisé des goroutines et des canaux pour analyser l'intégralité du fichier simultanément. Après la lecture, nous fermons le canal pour montrer que nous avons fini de lire le fichier. 🎜🎜Grâce à la méthode ci-dessus, il n'est plus nécessaire de lire l'intégralité des données dans la mémoire lors du traitement de fichiers volumineux, ce qui évite les fuites de mémoire et les plantages du programme, et améliore également l'efficacité du fonctionnement du programme. 🎜🎜Résumé : 🎜🎜Dans l'introduction ci-dessus, nous avons exploré certaines méthodes de traitement de fichiers volumineux, notamment l'utilisation du traitement fractionné, l'écriture de fichiers volumineux et le traitement de gros fichiers CSV. Dans le développement réel, nous pouvons choisir une manière appropriée de traiter des fichiers volumineux en fonction des besoins de l'entreprise afin d'améliorer les performances et l'efficacité du programme. Dans le même temps, lors du traitement de fichiers volumineux, nous devons nous concentrer sur les problèmes de mémoire, planifier raisonnablement l'utilisation de la mémoire et éviter les fuites de mémoire. 🎜🎜Lorsque nous utilisons le langage Go pour traiter des fichiers volumineux, nous pouvons utiliser pleinement les fonctionnalités du langage Go, telles que la goroutine et le canal, afin que le programme puisse traiter efficacement les fichiers volumineux et éviter les fuites de mémoire et les plantages du programme. Bien que cet article présente un contenu relativement basique, ces méthodes peuvent être appliquées au traitement de fichiers volumineux pendant le développement, améliorant ainsi les performances et l'efficacité du programme. 🎜

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!