メモリとディスクの使用量を最小限に抑えて、大きなファイルを AWS S3 にストリーミングするにはどうすればよいですか?

最小限のメモリとファイルディスクのフットプリントで AWS S3 にファイルをストリーミングアップロード

問題:メモリとファイルディスクの使用量を最小限に抑えながら、大きなマルチパート/フォームデータファイルを AWS S3 に直接送信します。

解決策: 次の手順で AWS S3 アップローダーを利用します:

1. 必要に応じて、パーツ サイズ、同時実行数、アップロード パーツの最大数などをカスタマイズした構成でアップローダーを作成します。
2. アップロードするファイルを開いて、それを入力としてアップローダーに渡します。
3. アップローダーを使用してファイルのアップロード プロセスを開始します。
4. アップロード結果を処理し、その進行状況を監視します。

コード例:

import (
    "fmt"
    "os"

    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/credentials"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3/s3manager"
)

// Configure Amazon S3 credentials and connection
var accessKey = ""
var accessSecret = ""

func main() {
    // Determine if your AWS credentials are configured globally
    var awsConfig *aws.Config
    if accessKey == "" || accessSecret == "" {
        // No credentials provided, load the default credentials
        awsConfig = &aws.Config{
            Region: aws.String("us-west-2"),
        }
    } else {
        // Static credentials provided
        awsConfig = &aws.Config{
            Region:      aws.String("us-west-2"),
            Credentials: credentials.NewStaticCredentials(accessKey, accessSecret, ""),
        }
    }

    // Create an AWS session with the configured credentials
    sess := session.Must(session.NewSession(awsConfig))

    // Create an uploader with customized configuration
    uploader := s3manager.NewUploader(sess, func(u *s3manager.Uploader) {
        u.PartSize = 5 * 1024 * 1024 // Set the part size to 5MB
        u.Concurrency = 2           // Set the concurrency to 2
    })

    // Open the file to be uploaded
    f, err := os.Open("file_name.zip")
    if err != nil {
        fmt.Printf("Failed to open file: %v", err)
        return
    }
    defer f.Close()

    // Upload the file to S3
    result, err := uploader.Upload(&s3manager.UploadInput{
        Bucket: aws.String("myBucket"),
        Key:    aws.String("file_name.zip"),
        Body:   f,
    })
    if err != nil {
        fmt.Printf("Failed to upload file: %v", err)
        return
    }
    fmt.Printf("File uploaded to: %s", result.Location)
}

S3 アップローダーを利用してファイルをストリーミングすることで、アップロード プロセス中のメモリとファイル ディスクの使用量を最小限に抑え、大きなファイルを効率的に処理できます。

以上がメモリとディスクの使用量を最小限に抑えて、大きなファイルを AWS S3 にストリーミングするにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。