六張圖講清楚Linux零拷貝技術

大家好，今天讓我們聊聊Linux零拷貝技巧。我們將以sendfile系統呼叫作為切入點，深入探討零拷貝技術的基本原理。零拷貝技術的核心思想是盡量減少資料在記憶體之間的複製，透過優化資料傳輸路徑，提高資料傳輸的效率和效能。

1.零拷貝技術簡介

#

Linux零拷貝技術是一種用於最佳化資料傳輸的技術，透過減少資料在內核態和使用者態之間的複製次數，從而提高資料傳輸的效率。

在資料傳輸的過程中，通常需要將資料從核心緩衝區複製到應用程式的緩衝區，再從應用程式緩衝區複製到網路裝置的緩衝區，最終才能完成傳送。

零拷貝技術的優點在於能夠直接傳輸數據，而無需經過中間複製的步驟，這有助於提高數據傳輸的效率。

Linux零拷貝技術實作方式：

• sendfile系統呼叫：sendfile系統呼叫可以在核心態中直接將檔案內容傳送到網路裝置的緩衝區，避免了資料在使用者態和核心態之間的拷貝。
• splice系統呼叫：splice系統呼叫可以將一個檔案描述符的資料直接傳輸到另一個檔案描述符，也可以將資料從一個檔案描述符傳輸到網路裝置的緩衝區，避免了中間的拷貝過程。
• mmap和write系統呼叫：mmap系統呼叫可以將檔案對應到記憶體中，然後使用write系統呼叫將記憶體中的資料直接傳送到網路裝置的緩衝區，避免了資料在使用者態和核心態之間的拷貝。
• DMA（Direct Memory Access）：DMA是一種硬體技術，可以直接將資料從記憶體傳輸到網路設備的緩衝區，避免了CPU的介入，提高了資料傳輸的效率。

2.sendfile系統呼叫

#sendfile系統呼叫可以在核心空間內直接傳輸檔案數據，它透過將資料從一個檔案描述符複製到另一個檔案描述符的發送緩衝區來實現。這樣一來，資料可以透過網路協定堆疊直接傳送出去，避免了在使用者空間和核心空間之間頻繁的資料拷貝操作。

這樣就避免了資料在內核與使用者空間之間的複製，提高了傳輸效率。

sendfile系統呼叫函數原型：

#include 
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

参数说明：
out_fd：目标文件描述符，用于发送数据。
in_fd：源文件描述符，从该文件读取数据。
offset：指定从源文件的哪个位置开始读取数据，可以为NULL表示从当前位置开始。
count：要传输的字节数。

返回值：
成功：返回写入out_fd文件的字节数。
失败：返回-1，并设置errno。

3.sendfile實作原理

#3.1 傳統方式傳送文件

使用傳統方式把一個檔案透過socket發送出去，我們需要執行一個比較長的路徑。

路徑：磁碟->檔案頁快取->使用者緩衝區->套接字緩衝區->網路卡。

上下文切換與記憶體拷貝情況如下：

• 上下文切換：4次（read調用，read返回，write調用，write返回）
• DMA拷貝：2次
• CPU拷貝：2次（檔案頁快取->使用者緩衝區，使用者緩衝區->套接字緩衝區）

圖片

3.2 sendfile傳送檔案

使用sendfile傳送文件，相對來說整個路徑會短一些。

路徑：磁碟->檔案頁快取->套接字緩衝區->網路卡。

上下文切換與記憶體拷貝情況如下：

上下文切換：2次（sendfile調用，sendfile返回）

DMA拷貝：2次

CPU拷貝：1次（檔案頁面快取->套接字緩衝區）

圖片

3.3 sendfile實作原理

sendfile實現的核心是管道，管道在Linux系統中應用的比較多，比如說透過管道實現進程間通訊。

當需要將檔案資料拷貝至socket緩衝區時，會暫時建立一個管道（環形緩衝區），將檔案資料先拷貝至管道，再將管道資料遷移至socket緩衝區，資料遷移並不是資料拷貝，只是將指標指向記憶體位址。

圖片

3.4 小節

透過採用sendfile傳送文件，可以減少2次上下文切換和1次CPU拷貝，如果我們的實際應用場景是需要進行大量的文件傳送，採用sendfile能夠大幅提升系統效能。

4.管道

4.1 管線簡介

管道在Linux系統中應用很廣泛，除了零拷貝技術使用到管道，進程間通訊同樣使用到管道，那麼管道到底是什麼？

圖片

管道是什麼？

管道其實就是一個環形緩衝區，透過管道可以將資料從一個檔案拷貝另一個檔案。

管道由struct pipe_inode_info結構體定義，此資料結構有4個重要成員：

• pipe_buffer：管道緩衝區數組，一個固定長度的數組，每個數組成員都是一個緩衝區，對應一個struct pipe_buffer結構。
• head：頭部序號，表示目前可寫入緩衝區的位置，需要配合mask使用。
• tail：尾部序號，表示目前可讀緩衝區的位置，需要配合mask使用。
• ring_size：管道緩衝區數組長度，ring_size – 1計算出mask，head & mask取得目前可寫緩衝區數組下標，tail & mask取得目前可讀緩衝區數組下標。

管道緩衝區由struct pipe_buffer定義，該結構有3個重要成員：

• page：頁指標
• offset：資料在頁中偏移
• len：資料長度

管道已滿或為空判斷？

管道已滿判斷：

head – tail >= ring_size，表示管道已滿。

管道為空判斷：

head == tail，表示管道為空。

以上是六張圖講清楚Linux零拷貝技術的詳細內容。更多資訊請關注PHP中文網其他相關文章！