> 백엔드 개발 > Golang > for 루프 없이 Go를 사용하여 CSV 파일의 데이터를 PostgreSQL에 효율적으로 대량 삽입하려면 어떻게 해야 합니까?

for 루프 없이 Go를 사용하여 CSV 파일의 데이터를 PostgreSQL에 효율적으로 대량 삽입하려면 어떻게 해야 합니까?

Patricia Arquette
풀어 주다: 2024-10-29 13:09:03
원래의
317명이 탐색했습니다.

How can I efficiently bulk insert data from a CSV file into PostgreSQL using Go without a for loop?

For 루프 없이 Go를 사용하여 CSV에서 PostgreSQL로 대량 삽입

CSV 파일의 대량 데이터를 PostgreSQL 데이터베이스에 삽입할 수 있습니다. for 루프를 사용할 때 시간이 많이 걸립니다. 보다 효율적인 접근 방식은 pgx 라이브러리를 활용하여 대량 복사 작업을 수행하는 것입니다.

대량 삽입에 pgx 사용

이를 달성하려면 다음 단계를 수행할 수 있습니다.

  1. pgx 라이브러리를 가져오고 데이터베이스 연결을 설정합니다.
  2. CSV 파일을 열고 리더를 준비합니다.
  3. CopyFrom 메서드를 사용하여 CopyFrom 개체를 초기화합니다. pgx.Conn().
  4. CSV 파일 판독기를 CopyFrom 개체에 대한 데이터 소스로 전달합니다.
  5. COPY Destination_table FROM STDIN(FORMAT csv) 형식으로 대상 테이블 이름을 지정합니다.
  6. CopyFrom 개체를 실행하여 대량 삽입을 수행합니다.

코드 예

다음 Go 코드는 대량 삽입 방법을 보여줍니다. pgx를 사용하여 PostgreSQL 데이터베이스에 CSV 파일:

<code class="go">import (
    "context"
    "fmt"
    "os"

    "github.com/jackc/pgx/v5"
)

func main() {
    filename := "foo.csv"
    dbconn, err := pgx.Connect(context.Background(), os.Getenv("DATABASE_URL"))
    if err != nil {
        panic(err)
    }
    defer dbconn.Release()
    f, err := os.Open(filename)
    if err != nil {
        panic(err)
    }
    defer func() { _ = f.Close() }()
    res, err := dbconn.Conn().PgConn().CopyFrom(context.Background(), f, "COPY csv_test FROM STDIN (FORMAT csv)")
    if err != nil {
        panic(err)
    }
    fmt.Print(res.RowsAffected())
}</code>
로그인 후 복사

이 접근 방식을 사용하면 for 루프의 오버헤드 없이 대규모 CSV 파일의 데이터를 효율적으로 대량 삽입할 수 있습니다. 이 방법은 대규모 데이터 세트를 처리하고 더 빠른 데이터 로드 성능을 보장하는 데 특히 유용합니다.

위 내용은 for 루프 없이 Go를 사용하여 CSV 파일의 데이터를 PostgreSQL에 효율적으로 대량 삽입하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

원천:php.cn
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
저자별 최신 기사
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿