為什麼在記憶體中下載比從 aws s3 在檔案系統中下載慢?
為什麼在記憶體中下載比從AWS S3在檔案系統中下載慢? 在下載檔案時,我們通常會選擇從AWS S3儲存桶下載到本機檔案系統。然而,有時候我們會發現,使用記憶體中的下載方式比直接從S3下載到檔案系統慢。這是因為在記憶體中下載涉及一些額外的步驟和資源消耗。首先,記憶體中的下載需要將檔案內容讀取到記憶體中,然後再寫入到檔案系統中。這個過程中涉及了額外的記憶體操作和IO操作,相較於直接從S3下載到檔案系統,會導致下載速度變慢。另外,記憶體中的下載還可能受到記憶體限制的影響,當下載的檔案較大時,可能會導致記憶體不足的問題,進而影響下載速度。因此,在選擇下載方式時,需要根據具體情況權衡利弊,選擇最適合的方式進行下載操作。
問題內容
我正在使用aws gosdk從某個儲存桶下載。以下是下載的兩種實作
- 下載到檔案
func (a *awsclient) downloadtofile(ctx context.context, objectkey string) (string, error) { params := &awss3.getobjectinput{ bucket: aws.string(a.bucket), key: aws.string(objectkey), } downloadpath := "some/valid/path" f, err := os.create(downloadpath) defer f.close() _, err = a.downloader.download(ctx, f, params) return downloadpath, err }
- 下載到記憶體
func (a *AwsClient) DownloadToMemory(ctx context.Context, objectKey string) (string, error) { params := &awsS3.GetObjectInput{ Bucket: aws.String(a.bucket), Key: aws.String(objectKey), } buffer := manager.NewWriteAtBuffer([]byte{}) _, err = a.downloader.Download(ctx, buffer, params) return buffer.Bytes(), err }
對於 100 mb 的文件,下載到記憶體中需要 30 秒,下載到檔案系統中只需要 8 秒。我的期望是內存下載應該要快得多。我的系統(apple m1、ventura、8gb ram)有足夠的可用 ram,所以這不是問題。有人可以幫助我理解這種行為嗎?
解決方法
將大的 S3 物件下載到動態緩衝區中效率非常低。該緩衝區被重新分配多次以處理 100M 資料和多個下載線程。記憶體重新分配需要大量 CPU 時間。
嘗試在開始時分配 100M,而不是使用空字節片。
如果物件大小未知,您可以使用 S3.HeadObject 即時取得物件長度。
以上是為什麼在記憶體中下載比從 aws s3 在檔案系統中下載慢?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

是的,H5頁面製作是前端開發的重要實現方式,涉及HTML、CSS和JavaScript等核心技術。開發者通過巧妙結合這些技術,例如使用<canvas>標籤繪製圖形或使用JavaScript控制交互行為,構建出動態且功能強大的H5頁面。

關於inline-block元素錯位顯示的原因及解決方案在編寫網頁佈局時,我們常常會遇到一些看似奇怪的顯示問題。比...

CSS自定義resize符號的方法與背景色統一在日常開發中,我們經常會遇到需要自定義用戶界面細節的情況,比如調...

如何實現分段器的45度曲線效果?在實現分段器的過程中,如何讓點擊左側按鈕時右側邊框變成45度曲線,而點�...

實時比特幣美元價格 影響比特幣價格的因素 預測比特幣未來價格的指標 以下是 2018-2024 年比特幣價格的一些關鍵信息:

如何使用JavaScript或CSS控制瀏覽器打印設置中的頁首和頁尾在瀏覽器的打印設置中,有一個選項可以控制是否顯�...
