Linux ネットワークパフォーマンスの王様、XDP テクノロジーについて話しましょう-コンピュータ知識-php.cn

Linux ネットワークパフォーマンスの王様、XDP テクノロジーについて話しましょう

皆さん、こんにちは。今日はいくつかの写真を通して XDP テクノロジーについて説明します。

多くの Linux 開発者、特にネットワーク関連の開発に従事している開発者は、XDP テクノロジに馴染みがないかもしれません。 Linux 開発者で XDP テクノロジを知らない場合は、多くの機会を逃す可能性があります。

私はかつて XDP テクノロジーを適用してプロジェクトを最適化し、ネットワーク処理パフォーマンスを 3 ～ 4 倍向上させることに成功しました。プロジェクトの元々のパフォーマンスが低いため、改善の余地が非常に大きいと考える人もいるかもしれません。

現在のソフトウェアアーキテクチャでは、最適化をさらに進めたとしても、パフォーマンスのボトルネックを解消するのは簡単ではないと思います。より包括的な観点からこの問題を解決するには、より効率的なアーキテクチャを採用する必要があります。

私のフォローアッププロジェクト Magic Box も XDP テクノロジを使用する予定です。XDP テクノロジの使用後、Magic Box のネットワークパフォーマンスは約 3 倍向上すると推定されています。

1. XDP テクノロジーの概要

1.1 XDP の技術的背景

超高帯域幅ネットワーク技術 10G、40G、および 100G ネットワークの出現により、Linux カーネルプロトコルスタックは新しいネットワーク技術の開発にますます適応できなくなり、ボトルネックになっているようです。この厄介な状況を解決するために、Linux カーネルは、カーネルバイパステクノロジという新しいテクノロジを導入しました。カーネルバイパステクノロジの中心的な考え方は、ネットワークデータパケットがカーネルプロトコルスタックをスキップし、ユーザープログラムによって直接処理されるため、カーネルが不要になります。プロトコルスタックのオーバーヘッドにより、ネットワークパフォーマンスが大幅に向上します。

XDP は Linux 固有のカーネルバイパステクノロジであり、DPDK テクノロジに対応します。 DPDK はパフォーマンスの点では優れていますが、Linux システムには完全には適していません。

1.2 XDP とは何ですか?

XDP は、eBPF メカニズムを使用してカーネル空間での高性能のパケット処理と転送を実現する Linux カーネルテクノロジです。

XDP はネットワークパフォーマンスを大幅に向上させ、ユーザーがカスタマイズされたさまざまなネットワーク機能を実装できる柔軟なプログラミングインターフェイスを提供します。従来のユーザー空間のパケット処理と比較して、XDP はパケット処理の遅延と CPU 使用率を効果的に削減できます。

XDP テクノロジー動作モード:

ネイティブモード (高パフォーマンス、ネットワークカードのサポートが必要) ドライバーモードでは、ネットワークカードドライバーで XDP プログラムを実行し、ネットワークカードドライバーからのネットワークデータパケットをリダイレクトします。このモードは、より多くのネットワークカードをサポートし、高いパフォーマンスを発揮します。ネットワークカードがサポートしている場合は、このモードを使用してみてください。

アンインストールモード (最高のパフォーマンス、最低サポートのネットワークカード) は、XDP プログラムをネットワークカードに直接アンインストールします。このモードではサポートされるネットワークカードが少ないため、ここでは説明しません。

ユニバーサルモード (優れたパフォーマンス、最高の Linux カーネルサポート) XDP プログラムは Linux カーネルプロトコルスタックの入り口で実行され、ドライバーのサポートは必要ありません。また、パフォーマンスは他の 2 つのモードよりも低くなります。システムパフォーマンスは次のように改善されました。ある程度。

XDP テクノロジーについては将来特別なトピックが登場する予定ですが、ここでは説明しません。

2. AF_XDP の動作原理

2.1 全体的なアーキテクチャ

多くの学生は、XDP と AF_XDP テクノロジーを簡単に混同します。

XDP テクノロジーは、BPF テクノロジーをベースにした新しいネットワークテクノロジーです。
AF_XDP は、XDP テクノロジーのアプリケーションシナリオであり、高性能 Linux ソケットです。

AF_XDP はソケット関数を通じて作成する必要があります。

リーリー

AF_XDP テクノロジーには、いくつかの重要な知識ポイントが含まれます:

＃＃＃写真＃＃＃

AF_XDP では、ネットワークデータパケットの送受信を完了するために XDP プログラムの協力が必要です。

XDP プログラムの主な仕事は、MAC アドレス、5 倍の情報などのイーサネットフレームの関連情報に基づいてデータパケットをフィルタリングし、リダイレクトすることです。
AF_XDP はイーサネットデータフレームを処理するため、ユーザープログラムはイーサネットデータフレームを送受信します。
ユーザープログラムAF_XDP、XDPはUMEMと呼ばれる共有メモリ領域を操作します。
ネットワークデータパケットの送受信には、4 つのロックフリーリングキューを使用する必要があります。

2.2 UMEM 共有メモリ UMEM 共有メモリは、setsockopt 関数を通じて適用されます。

リーリー

UMEM 共有メモリは通常 1 ユニットとして 4K で、各ユニットはデータパケットを保存できます。UMEM 共有メモリは通常 4096 ユニットです。

送受信されたデータパケットは UMEM メモリユニットに保存されます。

ユーザープログラムもカーネルもこのメモリ領域を直接操作できるため、データパケットの送受信時には単純なメモリコピーのみでシステムコールは必要ありません。

用户程序需要维护一个UMEM内存使用记录，记录每一个UMEM单元是否已被使用，每个记录都会有一个相对地址，用于定位UMEM内存单元地址。

2.2 无锁环形队列

AF_XDP socket总共有4个无锁环形队列，分别为：

填充队列（FILL RING）
已完成队列（COMPLETION RING）
发送队列（TX RING）
接收队列（RX RING）

图片

环形队列创建方式：

//创建FILL RINGsetsockopt(fd, SOL_XDP, XDP_UMEM_FILL_RING,&umem->config.fill_size, sizeof(umem->config.fill_size)); //创建COMPLETION RINGsetsockopt(fd, SOL_XDP, XDP_UMEM_COMPLETION_RING,&umem->config.comp_size, sizeof(umem->config.comp_size));//创建RX RING setsockopt(xsk->fd, SOL_XDP, XDP_RX_RING,&xsk->config.rx_size, sizeof(xsk->config.rx_size));//创建TX RINGsetsockopt(xsk->fd, SOL_XDP, XDP_TX_RING, &xsk->config.tx_size, sizeof(xsk->config.tx_size));

ログイン後にコピー

4个环形队列实现方式基本相同，环形队列是对数组进行封装的数据结构，环形队列由5个重要部分组成：