For ループを使用せずに CSV データを PostgreSQL に効率的に一括挿入する方法

Mary-Kate Olsen
リリース: 2024-10-29 06:52:31
オリジナル
219 人が閲覧しました

How to Efficiently Bulk Insert CSV Data into PostgreSQL Using Go Without For Loops?

Go を使用した CSV から PostgreSQL への効率的な一括データ挿入 (For ループなし)

Go では、Postgres COPY コマンドが効率的な方法を提供しますCSV ファイルから PostgreSQL データベースにデータを一括挿入します。 for ループを使用せずにこれを実現する方法は次のとおりです。

ステップ 1: データベース接続を確立する

pgx ライブラリを使用してデータベース接続を確立します。これは、データベースにアクセスしてコマンドを実行するために不可欠です。

ステップ 2: CSV ファイルを開きます

挿入するデータを含む CSV ファイルを開きます。アプリケーションがファイルにアクセスできることを確認してください。

ステップ 3: COPY コマンドを実行します

PgConn().CopyFrom() メソッドを実行して、データ転送を開始します。 CSV ファイルをデータベース テーブルにコピーします。以下に例を示します。

<code class="go">import (
    "context"
    "fmt"
    "io"

    "github.com/jackc/pgx/v4/pgxpool"
)

const query = "COPY csv_test FROM STDIN (FORMAT csv)"

func main() {
    dbpool, err := pgxpool.Connect(context.Background(), os.Getenv("DATABASE_URL"))
    if err != nil {
        panic(err)
    }
    defer dbpool.Close()

    f, err := os.Open("foo.csv")
    if err != nil {
        panic(err)
    }
    defer f.Close()

    res, err := dbpool.Conn().PgConn().CopyFrom(context.Background(), f, query)
    if err != nil {
        panic(err)
    }
    fmt.Print(res.RowsAffected())
}</code>
ログイン後にコピー

コードの内訳:

  • クエリ変数は、実行される COPY コマンドを定義します。
  • main() 関数は、dbpool を使用してデータベースへの接続を確立し、CSV ファイルを開き、PgConn().CopyFrom() を使用して拡張 COPY コマンドを実行します。
  • res 変数には実行結果が格納されます。影響を受ける行の数を含みます。

利点:

  • 効率: COPY コマンドは、一括処理で非常に効率的です。データ挿入により、ループベースのアプローチと比較して不必要なオーバーヘッドが回避されます。
  • 同時実行: pgxpool では同時接続が可能になり、並列操作が可能になり、より高速なデータ処理が可能になります。
  • タイプ セーフティ: pgx は、COPY コマンドの実行時にタイプ セーフティを確保し、データの整合性を確保します。

以上がFor ループを使用せずに CSV データを PostgreSQL に効率的に一括挿入する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ソース:php.cn
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
著者別の最新記事
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート
私たちについて 免責事項 Sitemap
PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!