Linux ヒューズとはどういう意味ですか?-Linuxの運用と保守-php.cn

ユーザー空間ファイルシステムをサポートするために使用される Linux カーネルモジュールは FUSE と呼ばれます。 Fuse の正式名は「Filesystem in Userspace」で、中国語で「ユーザー空間ファイルシステム」を意味します。完全にユーザーモードで実装されたファイルシステムを指します。Linux で特定のネットワークスペースをマウントするために使用され、重要なコンポーネントです。一般的なオペレーティングシステムのこと。

Linux ヒューズとはどういう意味ですか?

#このチュートリアルの動作環境: linux7.3 システム、Dell G3 コンピューター。

Linux Fuse とは

ユーザー空間ファイルシステム (ユーザー空間のファイルシステム) は、ユーザーモードで完全に実装されたファイルシステムを指します。 Linux SSH などの特定のネットワークスペースをローカルファイルシステムにマウントするために使用されるモジュール関連コンテンツは SourceForge にあります。

ユーザー空間ファイルシステムをサポートするために Linux で使用されるカーネルモジュールは FUSE と呼ばれます。FUSE という用語は、特に Linux のユーザー空間ファイルシステムを指す場合があります。これは、一般的なオペレーティングシステムの重要な部分です。オペレーティングシステムは従来、カーネルレベルでファイルシステムのサポートを提供してきました。一般に、カーネルモードコードはデバッグが難しく、生産性が低くなります。

いわゆる「ユーザーモードファイルシステム」とは、ファイルシステムのデータとメタデータがユーザーモードプロセス (このプロセスは「デーモン」と呼ばれます) によって提供されることを意味します。マイクロカーネルオペレーティングシステムの場合、ユーザーモードでファイルシステムを実装することは何もありませんが、マクロカーネル Linux の場合は意味が異なります。

ユーザーモードファイルシステムと呼ばれていますが、カーネルの関与を全く必要としないわけではありません。Linux では、ファイルへのアクセスは、提供されるカーネルインターフェースを通じて一律に行われます。 VFS レイヤー (オープン/読み取りなど) であるため、プロセス (「ユーザー」と呼ばれる) がデーモンによって実装されたファイルシステムにアクセスするときも、VFS を経由する必要があります。

VFS がユーザープロセスからファイルアクセスリクエストを受信し、そのファイルが (マウントタイプに従って) ユーザーモードファイルシステムに属していると判断すると、リクエストを「fuse」という名前のファイルに転送します。カーネルモジュール。そして、「fuse」はリクエストをデーモンと取り決めたプロトコル形式に変換し、デーモンプロセスに送信します。

Linux ヒューズとはどういう意味ですか?

この 3 者関係では、「ヒューズ」カーネルモジュールが転送の役割を果たし、VFS の確立に役立つことがわかります (また、平たく言えば、その役割は実際には「エージェント」です。

このフレームワーク全体の Linux での実装は、FUSE (ユーザー空間のファイルシステム) です。図 1 に示すように、赤枠の部分は FUSE タイプのファイルシステムの具体的な実装であり、ユーザーモードファイルシステムの設計者が活躍できる領域です。現在、FUSE に基づいて実装されているファイルシステムは 100 を超えています (一部のカーネルベースのファイルシステムは、ZFS や NTFS などのユーザーモードファイルシステムに移植することもできます)。この記事では既製の FUSE を使用します。デモンストレーション用の sshfs。

まず、fuse-sshfs ソフトウェアパッケージをインストールし、次のコマンドを使用してファイルシステムをマウントします (リモートマシンの「remote-dir」ディレクトリをローカルマシンの「local-dir」ディレクトリにマウントします)。 :

sshfs :

その後、「/sys/fs」にディレクトリに「fuse」という名前のフォルダが生成され、同時に「fuse」カーネルモジュールがロードされていること（対応するデバイスは「/dev/fuse」）と、ローカルマウントの種類が確認できます。ディレクトリは「fuse.sshfs」になりました:

デバイスノードを生成する目的は、ユーザーモードの制御を容易にすることですが、ファイルシステムレベルのアプリケーションの場合は、ioctl() を使用します。詳細が多すぎるため、デバイスにアクセスするのはまだ面倒なので、libfuse が中間層として登場しました。デーモンプロセスは、実際には、libfuse が提供するインターフェイスを通じてヒューズデバイスファイルを操作します。

あなたが来て私が行く

次に、例として「touch」コマンドを使用して「fuse.sshfs」ファイルシステムに新しいファイルを作成し、ヒューズカーネルモジュールとデーモンプロセス (つまり、「sshfs」) 固有の対話プロセス (コード部分はカーネルバージョン 5.2.0 に基づいています):

[最初のラウンド]

最初は次のとおりです。パーミッションの検証ですが、ここでの検証は VFS のパーミッションの検証と同等ではなく、主な目的は他のユーザーが自分のプライベート Fuse ファイルシステムにアクセスできないようにすることです。

#次に、ファイルパスに基づいてファイルの i ノードが見つかります。これは新しく作成されたファイルであるため、inode はカーネルの i ノードキャッシュにないため、「検索」リクエストをデーモンに送信する必要があります。

これらのリクエストは、 pending queue に入れられ、デーモンプロセスの応答を待ち、ユーザープロセスはスリープ状態になります:

デーモンとして、 sshfs プロセスは、データを取得するために「/dev/fuse」デバイスファイルを読み取ります。保留中のキューが空の場合、ブロック待機状態になります。

リクエストが保留中のキューがあると、デーモンプロセスが起動され、これらの要求を処理します。処理されたリクエストは 処理キュー に移動されます。デーモンプロセスがフューズカーネルモジュールに応答した後、ユーザープロセスが起動され、対応するリクエストが処理キューから削除されます。

【第2ラウンド】

次は「タッチ」です。トリガーされた他のシステムコールが以前にアクセスされたデータ/メタデータである場合、それらはキャッシュ内に存在する可能性が高く、データ/メタデータのこの部分に再度アクセスすると、ヒューズカーネルモジュールは、それ以外の場合は、処理のためにデーモンプロセスに報告する必要があります。

ここで get_fuse_conn() は、ヒューズ型ファイルシステムのマウント時に作成される "fuse_conn" 構造体インスタンスを取得します。デーモンプロセスとカーネル間のリンクとして、デーモンプロセスが停止するか、対応するヒューズファイルシステムがアンインストールされない限り、接続は常に存在します。

デーモンプロセス側では、同様の操作がまだあります。注意する必要があるのは、2 つの一連の関数 furuse_write/read() と fuse_dev_write/read() の違いです。前者は、ユーザープロセスがファイルにアクセスするときの VFS です。ヒューズファイルシステム。読み取りおよび書き込みリクエストは通常のファイルに対する操作であり、後者は、ヒューズカーネルモジュールを表すデバイス "/dev/fuse" の読み取りおよび書き込みを行うデーモンプロセスです。目的は、リクエストを取得し、返事。

[第 3 ラウンド ]

ヒューズカーネルモジュールとデーモンプロセス間の対話の最後のラウンドは、ヒューズファイルシステムスーパーブロック内の i ノード番号を取得し、このメタデータの関連情報を入力します。

コインの裏表

比較的単純な「タッチ」操作が実行された場合でも、ヒューズファイルシステム内でそれを見つけるのは難しくありません。、ユーザー状態が関係します。カーネル状態とカーネル状態の間の切り替えは比較的頻繁に行われ、複数のデータコピーが伴います。従来のカーネルファイルシステムと比較すると、全体的な I/O スループットが低く、待ち時間が長くなります。

では、なぜヒューズはオペレーティングシステムでサポートされているファイルシステム内で依然として重要な位置を占めているのでしょうか?そういえば、ユーザーモードでの開発には多くの利点があります。 まず、 はデバッグが簡単で、特に新しいファイルシステムプロトタイプの迅速な検証に適しているため、学術研究の分野で非常に人気があります。カーネルではC言語のみ使用可能ですが、ユーザーモードではそれほど制限はなく、各種関数ライブラリや各種プログラミング言語が使用可能です。

2 つ目、 カーネルのバグは、わずかな不一致でシステム全体のクラッシュを引き起こすことがよくあります (ホストのクラッシュにより、ホスト上で実行されているすべての仮想マシンが引き起こされるため、これは仮想化アプリケーションではより深刻です)ただし、ユーザーモードのバグによる影響は比較的限定的です。

つまり、コインの表側は開発に便利であるということですが、それがどれほど便利であるかは結局のところ 主観的なの感覚であり、裏側はパフォーマンスへの影響です。使用できるもの目的は実験データによって検証されています。では、ヒューズによる損失を比較的正確に測定するにはどのような方法を使用すればよいでしょうか?

以前使用していたfuse-sshfsを引き続き使用しますが、ここではリモートマウントを使用せず、ローカルマウントを使用します(ローカルマシンの "dir-src" ディレクトリが ext4 ファイルシステムにあると仮定します) ):

sshfs localhost:

デーモンプロセスがリクエストを受信すると、再度カーネルに入る必要があります。 ext4 カーネルモジュールにアクセスするには (このファイルシステムモードは「スタッカブル」と呼ばれます):

ヒューズファイルシステムに write() リクエストを発行するユーザープロセスを次のようにします。例として、右側の赤いボックスはネイティブの ext4 呼び出しパスで、左側の追加のパスはヒューズの導入後に追加されたパスです。

# によると#この記事ドキュメントに記載されているデータによると、このシステムコールで使用される「getxattr」によって形成されるリクエストには、「ユーザーとカーネル」の対話量の 2 倍が必要です。シーケンシャル書き込みの場合、ネイティブ ext4 ファイルシステムと比較して、I/O スループットは 27% 減少し、ランダム書き込みは 44% 減少します。

しかし、ヒューズファイルシステムが誕生してから何年もの間、誰もがそれに対する多くの最適化策を考え出してきました。たとえば、順次読み取りと書き込みを行う場合、リクエストをバッチでデーモンプロセスに送信するように設計できます (ただし、ランダムな読み取りと書き込みは適していません)。

スプライシングこのゼロコピーテクノロジ、つまり Linux カーネルによって提供されるスプライシングメカニズムを使用すると、ユーザー空間は 2 つのカーネルのメモリバッファのデータをコピーせずに転送できます。したがって、ヒューズカーネルモジュールから ext4 カーネルモジュールにデータを直接転送するスタッカブルモードに特に適しています (ただし、スプライシングは通常 4K を超えるリクエストに使用され、少量のデータの読み書きには使用されません)。

これらの取り組みの後、Fuse ファイルシステムはどのようなパフォーマンスを達成できるでしょうか?

このレポートに記載されているテスト結果によると、ネイティブ ext4 と比較して、最良の環境下ではヒューズの性能損失を 5% 未満に抑えることができますが、最悪の場合は 83% になります。同時に、CPU リソース使用量も 31% 増加しました。

Android v4.4 から v7.0 の間に存在した SDcard デーモンから、近年の Ceph および GlusterFS まで、すべてが FUSE ベースの実装を採用しているか、現在採用中です。 FUSE は、ネットワークファイルシステムと仮想化アプリケーションの両方でその有用性を示しています。その出現と発展は、カーネルモードで実装されたファイルシステムを置き換えるものではなく、有用な補足としてのものです (理論的には、FUSE はルートファイルシステムの実装にも使用できますが、これはお勧めできません。「できる」と「するべき」は別のことです)。