제한된 RAM으로 Go에서 대용량 파일을 어떻게 읽을 수 있나요?

Go에서 제한된 RAM으로 대용량 파일 읽기

귀하의 질문은 메모리를 절약하면서 Go에서 대용량 파일을 읽는 것과 관련이 있습니다. 대용량 파일을 효율적으로 처리하기 위해 Go는 문서 구문 분석과 스트림 구문 분석이라는 두 가지 기본 접근 방식을 제공합니다.

문서 구문 분석

문서 구문 분석은 전체 파일을 메모리에 로드하여 객체를 생성합니다. 데이터의 표현. 이 접근 방식은 한 번에 모든 데이터에 쉽게 액세스할 수 있지만 상당한 메모리 오버헤드가 필요합니다.

스트림 구문 분석

반면 스트림 구문 분석은 파일을 순차적으로 읽습니다. 요소별로. 이 방법은 한 번에 하나의 요소만 처리하여 메모리 병목 현상을 방지합니다. 대용량 파일 검색 또는 반복과 같은 반복 작업에 이상적입니다.

스트림 구문 분석을 위한 Go 라이브러리

Go는 일반적인 파일 형식을 효율적으로 구문 분석하기 위한 라이브러리를 제공합니다.

• CSV: 인코딩/csv는 CSV 파일 구문 분석을 지원하므로 레코드를 읽는 동안 처리할 수 있습니다.
• JSON: 인코딩/json은 JSON 스트리밍 API를 사용하면 복잡한 JSON 구조를 점진적으로 구문 분석할 수 있습니다.
• XML: Go에는 전용 XML 스트리밍 라이브러리가 없지만 github.com/과 같은 타사 패키지를 사용할 수 있습니다. woodruffj/go-xmlreader를 사용하세요.

고루틴을 사용한 동시 처리

동시성을 활용하려면 고루틴과 채널을 사용하여 요소를 공급할 수 있습니다. 스트림을 처리 기능으로 보냅니다.

<code class="go">package main

import (
    "encoding/csv"
    "fmt"
    "log"
    "os"
    "io"
)

func main() {
    file, err := os.Open("test.csv")
    if err != nil {
        log.Fatal(err)
    }

    parser := csv.NewReader(file)

    records := make(chan []string)
    go func() {
        defer close(records)
        for {
            record, err := parser.Read()
            if err == io.EOF {
                break
            }
            if err != nil {
                log.Fatal(err)
            }

            records <- record
        }
    }()

    printRecords(records)
}

func printRecords(records chan []string) {
    for record := range records {
        fmt.Println(record)
    }
}</code>

이 접근 방식을 사용하면 메모리 소비를 최소화하면서 대용량 파일을 효율적으로 처리할 수 있습니다.

위 내용은 제한된 RAM으로 Go에서 대용량 파일을 어떻게 읽을 수 있나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!