메모리 포화 없이 대규모 데이터 스트림을 JSON으로 어떻게 인코딩할 수 있나요?

메모리 포화 없이 대규모 데이터 스트림 인코딩

JSON 형식으로 인코딩해야 하는 대규모 데이터 세트로 작업할 때 json 패키지의 기본 동작은 비효율적일 수 있습니다. 인코딩하기 전에 전체 데이터세트를 메모리에 로드해야 하므로 성능 문제가 발생할 수 있습니다.

이 제한을 해결하려면 Foo 필드와 객체를 스트리밍하는 채널 Bar가 있는 구조체 t가 있는 시나리오를 고려해 보세요. Bar의 전체 내용을 메모리에 유지하지 않고 t를 JSON으로 인코딩하려고 합니다.

바이트 조작을 사용한 사용자 정의 JSON 인코딩

현재 json 패키지에는 스트리밍 인코딩에 대한 지원이 부족합니다. 해결 방법은 바이트 스트림에 작성하여 JSON 문자열을 수동으로 구성하는 것입니다. 이는 다음과 같이 수행할 수 있습니다:

w := os.Stdout
w.WriteString(`{ "Foo": "` + t.Foo + `", "Bar": [`)

for x := range t.Bar {
    _ = json.NewEncoder(w).Encode(x)
    w.WriteString(`,`)
}

w.WriteString(`]}`)

JSON 인코더 API 재고

향상된 인코딩/json 패키지에는 스트리밍 인코딩을 허용하는 수정된 Marshaler 인터페이스가 포함됩니다. 이는 다음과 같습니다.

type Marshaler interface {
    MarshalJSON(io.Writer) error
}

encoding/json 패키지 패치(선택 사항)

encoding/json 패키지가 요구 사항을 충족하지 않는 경우 패치를 고려할 수 있습니다. 스트리밍 채널을 처리하기 위해 가능한 수정 사항은 다음과 같습니다.

case reflect.Chan:
    e.WriteByte('[')
    i := 0
    for {
        x, ok := v.Recv()
        if !ok {
            break
        }
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(x)
        i++
    }
    e.WriteByte(']')

표준 라이브러리 패치는 주의해서 수행해야 하며 호환성 문제가 발생할 수 있다는 점을 기억하세요.

위 내용은 메모리 포화 없이 대규모 데이터 스트림을 JSON으로 어떻게 인코딩할 수 있나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!