增強您的 Go 應用程式：掌握透過 TCP 提供極速靜態檔案服務-Golang-PHP中文網

增強您的 Go 應用程式：掌握透過 TCP 提供極速靜態檔案服務

王林

發布： 2024-09-09 06:34:01

原創

879 人瀏覽過

嘿地鼠？！

您是否想過在 Go 中使用 TCP 更快地提供靜態文件的最佳方法？儘管有一些內建函數（例如 http.ServeFile）可以完成簡單的文件服務任務，但是當涉及非常大的文件或在大量負載下執行時，這些函數就會成為障礙。在本文中，我們希望解決此過程中的高級問題領域，以便那些想要超越 Go 開發典型水平的人會感到高興。

問題

必須特別注意文件服務速度，因為它在流量大的情況下尤其重要。透過 http.ServeFile 等解決方案提供靜態內容時，需要解決以下問題：

一層緩衝：資料先載入到記憶體中，然後再透過網路傳送，產生不必要的記憶體佔用和延遲。
阻塞 I/O：對檔案執行阻塞操作會對速度產生負面影響，特別是當檔案有幾兆位元組時。
負載平衡不佳：沒有以更並發的方式執行文件傳輸的規定，這意味著速度會下降。

新解決方案：更多優化

這是繞過這些限制並提高效能的方法：

零拷貝文件傳輸

透過使用 syscall 套件中的 sendfile 系統呼叫來完成零拷貝檔案傳輸，減少記憶體消耗並提高傳輸速度。不涉及用戶空間的內存，資料直接從檔案描述符「發送」到套接字。

import (
    "syscall"
    "net"
    "os"
)

func serveFile(conn net.Conn, filePath string) error {
    file, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer file.Close()

    fileStat, err := file.Stat()
    if err != nil {
        return err
    }

    // Directly transfer file content to the connection socket
    _, err = syscall.Sendfile(int(conn.(*net.TCPConn).File().Fd()), int(file.Fd()), nil, int(fileStat.Size()))
    return err
}

登入後複製

Gouroutines 作為外部非同步 I/O 機制

透過將檔案傳輸分成非同步部分來利用 Go 中的並發框架。使用 goroutine 並行卸載這些部分，以縮短等待 I/O 呼叫完成所浪費的時間。

func asyncServeFile(conn net.Conn, filePath string) error {
    file, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer file.Close()

    buf := make([]byte, 32*1024) // 32KB buffer
    var wg sync.WaitGroup

    for {
        n, err := file.Read(buf)
        if n > 0 {
            wg.Add(1)
            go func(data []byte) {
                defer wg.Done()
                conn.Write(data)
            }(buf[:n])
        }
        if err != nil {
            if err == io.EOF {
                break
            }
            return err
        }
    }

    wg.Wait()
    return nil
}

登入後複製

專注於關鍵部分

文件的所有部分可能並不具有同等的價值。例如，可以開始播放的影片檔案可能需要視訊元資料。重點關注這些部分，以提高使用者介面內的感知速度。

func serveCriticalSections(conn net.Conn, filePath string, criticalSections []fileRange) error {
    file, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer file.Close()

    for _, section := range criticalSections {
        buf := make([]byte, section.length)
        _, err := file.ReadAt(buf, section.offset)
        if err != nil {
            return err
        }
        conn.Write(buf)
    }

    return nil
}

登入後複製