オブジェクトストレージのGolang実装-Golang-php.cn

オブジェクトストレージのGolang実装

WBOY

リリース： 2023-05-13 09:11:36

オリジナル

660 人が閲覧しました

データ量が増加し続けるにつれて、従来のファイルストレージ方法では需要を満たすことがますます困難になってきています。オブジェクトストレージは、新しいストレージ方式として、高い拡張性、高信頼性、高い同時実行性などの利点を持ち、現在主流のストレージ形式の一つとなっています。この記事では、Golang でオブジェクトストレージを実装する方法を紹介します。

1. オブジェクトストレージを理解する

オブジェクトストレージは、クラウドストレージに基づいたストレージ方法です。データをオブジェクトの形式で保存します。各オブジェクトには、一意の識別子、データ、メタデータが含まれています。従来のファイルストレージ方式とは異なり、オブジェクトストレージは無限の拡張を実現でき、バックアップに複数のノードを使用して高いデータ信頼性を確保できます。オブジェクトストレージは通常、大規模なデータストレージや大規模なファイル管理などのシナリオで使用されます。

2. アーキテクチャ設計

オブジェクトストレージを実装するための最初のタスクは、データストレージ、メタデータストレージ、データバックアップなどを含むシステムアーキテクチャを設計することです。以下は、単純なオブジェクトストレージアーキテクチャです。

オブジェクトストレージのGolang実装

上の図では、アップロードされたオブジェクトはデータノードに保存され、インデックスとオブジェクトの実行のメタデータノードに記録されます。検索。データの信頼性を確保するために、ストレージノードは定期的にバックアップされます。

3. コードの実装

3.1 インストールの依存関係

Golang オブジェクトストレージを開発する前に、次の依存ライブラリをインストールする必要があります:

go get github.com/minio/minio-go
go get github.com/joho/godotenv

ログイン後にコピー

minio-go: オープンソースの Golang S3 クライアントライブラリ。
godotenv: 環境変数を読み取るために使用されます。

3.2 初期化構成

コード内で godotenv を使用して、保存されている accessKey、secretKey、バケット、その他の情報を含む環境変数を読み取ります。

err := godotenv.Load()
if err != nil {
  log.Fatal("Error loading .env file")
}

accessKey := os.Getenv("ACCESS_KEY")
secretKey := os.Getenv("SECRET_KEY")
endpoint := os.Getenv("END_POINT")
bucket := os.Getenv("BUCKET_NAME")
location := os.Getenv("LOCATION")

ログイン後にコピー

3.3 オブジェクトストレージサービスに接続します

minio-go を使用してオブジェクトストレージサービスに接続します。具体的なコードは次のとおりです:

minioClient, err := minio.New(endpoint, accessKey, secretKey, false)

if err != nil {
  log.Fatalln(err)
}

if err = minioClient.MakeBucket(bucket, location); err != nil {
  exists, errBucketExists := minioClient.BucketExists(bucket)

  if errBucketExists == nil && exists {
    log.Printf("We already own %s
", bucket)
  } else {
    log.Fatalln(err)
  }
} else {
  log.Printf("Successfully created %s
", bucket)
}

log.Printf("Successfully connected to %s
", endpoint)

ログイン後にコピー

上記のコード内、MakeBucket 関数を使用してバケット (バケット) を作成します。バケットがすでに存在する場合は作成をスキップします。接続に成功すると「xxxに接続しました」というログが出力されます。

3.4 オブジェクトのアップロード

オブジェクトストレージサービスに正常に接続したら、次のコードを使用してオブジェクトをアップロードできます。

filePath := "/path/to/file.jpg"
objectName := "file.jpg"

contentType := "application/octet-stream"

// Open the file for use
file, err := os.Open(filePath)
if err != nil {
  log.Fatalln(err)
}
defer file.Close()

// Get file size and read the file content into a buffer
fileInfo, _ := file.Stat()
var size int64 = fileInfo.Size()
buffer := make([]byte, size)
file.Read(buffer)

// Upload the file to S3 with FPutObject
n, err := minioClient.PutObject(bucket, objectName, bytes.NewReader(buffer), size, minio.PutObjectOptions{ContentType: contentType})
if err != nil {
  log.Fatalln(err)
}

log.Printf("Successfully uploaded %s with size %d
", objectName, n)

ログイン後にコピー

オブジェクトをアップロードするときは、次のことを行う必要があります。オブジェクト名、パスやそのコンテンツタイプなどのオブジェクトの相対情報を指定し、コード内で PutObject 関数を使用してオブジェクトをアップロードします。アップロードが成功すると、ログ情報「アップロードに成功しました xxx」が出力されます。

3.5 オブジェクトのダウンロード

次のコードを使用して、オブジェクトストレージからファイルをダウンロードし、ローカルに保存します。

filePath := "/path/to/file.jpg"
objectName := "file.jpg"

err = minioClient.FGetObject(bucket, objectName, filePath, minio.GetObjectOptions{})
if err != nil {
  log.Fatalln(err)
}

log.Printf("Successfully downloaded %s from %s
", objectName, bucket)

ログイン後にコピー

このうち、オブジェクトからダウンロードするには、FGetObject 関数を使用します。 storage service ファイルのダウンロードが成功すると、ログ情報「ダウンロード成功xxx」が出力されます。

4. 概要

この記事では、オブジェクトストレージの関連知識を紹介し、minio-go および godotenv 依存関係ライブラリを使用してオブジェクトストレージのアップロードとダウンロードを実装します。この記事を読むことで、読者はオブジェクトストレージの実装原理とアプリケーションシナリオ、および Golang でオブジェクトストレージを実装する方法を予備的に理解することができます。これは単なる単純な実装であり、読者は特定のニーズに応じてより完全なオブジェクトストレージシステムを作成できます。

以上がオブジェクトストレージのGolang実装の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。