Quels sont les systèmes de fichiers distribués Linux ?

Les systèmes de fichiers distribués Linux incluent : 1. OpenAFS, qui est un système de fichiers distribué open source ; 2. MooseFs, qui est un système de fichiers distribué en réseau avec tolérance aux pannes ; 3. googleFs, qui est un système de fichiers distribué évolutif. , etc.

L'environnement d'exploitation de ce tutoriel : système linux5.9.8, ordinateur Dell G3.

Quels sont les systèmes de fichiers distribués Linux ?

• NFS (www.tldp.org/HOWTO/NFS-HOWTO/index.html)

Le système de fichiers réseau est l'un des systèmes de fichiers pris en charge par FreeBSD, également connu sous le nom de NFS.

NFS permet à un système de partager des répertoires et des fichiers avec d'autres sur le réseau. En utilisant NFS, les utilisateurs et les programmes peuvent accéder aux fichiers sur des systèmes distants comme s'il s'agissait de fichiers locaux. Ses avantages sont les suivants :

1. Le poste de travail local utilise moins d'espace disque, car les données habituelles peuvent être stockées sur une seule machine et accessibles via le réseau.

2. Les utilisateurs n'ont pas besoin d'avoir un répertoire personnel sur chaque machine du réseau. Le répertoire personnel peut être placé sur un serveur NFS et disponible n'importe où sur le réseau.

3. Les périphériques de stockage tels que les lecteurs de disquettes, les CDROM et les ZIP peuvent être utilisés par d'autres machines du réseau. Vous pouvez réduire le nombre de périphériques multimédias amovibles sur l'ensemble de votre réseau.

Langage de développement c/c++, peut fonctionner sur toutes les plateformes.

• OpenAFS (www.openafs.org)

OpenAFS est un système de fichiers distribué open source qui permet aux systèmes de partager des fichiers et des ressources via LAN et WAN. OpenAFS est organisé autour d'un groupe de serveurs de fichiers appelés cellules. L'identité de chaque serveur est généralement cachée dans le système de fichiers. Les utilisateurs se connectant à partir du client AFS ne pourront pas savoir sur quel serveur ils s'exécutent, car du point de vue de l'utilisateur. Vous voyez, ils veulent fonctionner sur un seul système avec une sémantique de système de fichiers Unix reconnue.

Le contenu du système de fichiers est généralement copié sur plusieurs cellules, et la panne d'un disque dur n'endommagera pas le fonctionnement du client OpenAFS. OpenAFS nécessite un cache client volumineux allant jusqu'à 1 Go pour permettre l'accès aux fichiers fréquemment utilisés. Il s'agit d'un système très sécurisé basé sur Kerbero qui utilise des listes de contrôle d'accès (ACL) pour permettre un accès précis, qui n'est pas basé sur les modèles de sécurité Linux et Unix habituels. Contrat de développement IBM Public, fonctionnant sous Linux.

• MooseFs (derf.homelinux.org)

Moose File System est un système de fichiers distribué en réseau avec une fonction de tolérance aux pannes. Il distribue les données sur différents serveurs du réseau et utilise FUSE pour lui donner l'apparence. est un système de fichiers Unix. Mais il y a un problème, cela ne peut toujours pas résoudre le problème du point de défaillance unique. Le langage de développement est Perl, qui peut être utilisé sur plusieurs plates-formes.

• pNFS (www.pnfs.com)

Le système de fichiers réseau (NFS) est une partie importante de la plupart des réseaux locaux (LAN). Mais NFS n’est pas adapté aux programmes exigeants et gourmands en ressources du calcul haute performance, du moins pas avant. Une modification criminelle de la norme NFS intègre Parallel NFS (pNFS), une implémentation parallèle du partage de fichiers qui augmente les taux de transfert de plusieurs ordres de grandeur.

Langage de développement c/c++, fonctionnant sous Linux.

• googleFs

est considéré comme un système de fichiers distribué évolutif relativement bon, utilisé pour les grandes applications distribuées qui accèdent à de grandes quantités de données. Il fonctionne sur du matériel commun bon marché, mais peut offrir une tolérance aux pannes et fournir des services hautes performances à un grand nombre d'utilisateurs. Développé par Google lui-même.

Extensions associées :

Les systèmes de fichiers distribués couramment utilisés incluent : GFS, TFS, HDFS, MooseFs, FastDfs, MogileFs, GridFs, MinIO, SeaweedFS, GlusterFS, Ceph, GlusterFS, etc.

Comparaison des systèmes de fichiers distribués courants

1. GFS (Google File System)
Un système de fichiers distribué évolutif basé sur Linux développé par Google pour répondre aux besoins de l'entreprise. Il est utilisé pour les données volumineuses, distribuées et Big. être accessible et appliqué à faible coût et peut être utilisé sur du matériel ordinaire bon marché. Cependant, il n'est pas open source et ne sera pas pris en compte pour le moment.

2. TFS (Taobao File System)
Un système de fichiers distribué open source évolutif, hautement disponible, hautes performances, orienté services Internet, développé par Alibaba pour répondre aux besoins de Taobao en matière de stockage de petits fichiers. , qui repose sur un cluster de machines Linux commun, peut fournir un accès au stockage hautement fiable et hautement simultané avec le monde extérieur. TFS fournit à Taobao un stockage massif de petits fichiers. Habituellement, la taille du fichier ne dépasse pas 1 Mo, ce n'est donc pas pris en compte pour le moment.

3. HDFS (Hadoop Distributed File System)
Le système de fichiers distribué Hadoop convient à une exécution sur du matériel à usage général pour le stockage et l'informatique distribués, car il a une tolérance aux pannes et une évolutivité élevées et peut être déployé sur des machines bon marché. pour le traitement du Big Data et présente des avantages inhérents dans le traitement par lots hors ligne du Big Data.
Hadoop est une bibliothèque de recherche de texte largement utilisée développée par Doug Cutting, fondateur d'Apache Lucene. Il provient d'Apache Nutch, un moteur de recherche Web open source qui fait lui-même partie du projet Luene. L'architecture Aapche Hadoop est une application open source de l'algorithme MapReduce et une pierre angulaire importante de l'empire de Google.

4. MooseFS
MooseFS est un système de fichiers POSIX distribué open source et redondant, tolérant aux pannes, de Pologne. Il fait également référence à l'architecture GFS et implémente la plupart des sémantiques et API POSIX. Il prend en charge le montage de fichiers via FUSE. l'interface de gestion Web qu'il fournit est très pratique pour vérifier l'état actuel du stockage des fichiers. Il a une seule dépendance sur le serveur maître et est utilisé pour les applications de fichiers de taille moyenne et volumineuse car. il est accessible en temps réel, alors n'y pensez pas encore.
Remarques : POSIX signifie Portable Operating System Interface of UNIX (en abrégé POSIX). La norme POSIX définit la norme d'interface que le système d'exploitation doit fournir pour les applications

5 Créé par M. Yu Qing de Taobao Un open source. système de fichiers distribué développé. Il gère les fichiers et ses fonctions incluent : le stockage de fichiers, la synchronisation de fichiers, l'accès aux fichiers (téléchargement de fichiers, téléchargement de fichiers), etc., résolvant les problèmes de stockage de grande capacité et d'équilibrage de charge. Convient aux services en ligne qui utilisent des fichiers comme supports, tels que les sites Web d'albums photo, les sites Web de vidéos, etc. FastDFS est conçu sur mesure pour Internet, prenant pleinement en compte la sauvegarde redondante, l'équilibrage de charge, l'expansion linéaire et d'autres mécanismes, et se concentrant sur la haute disponibilité, les hautes performances et d'autres indicateurs. FastDFS est utilisé pour créer un cluster de serveurs de fichiers hautes performances pour fournir des fichiers. téléchargement, téléchargement et autres services. Cependant, le déploiement de FastDFS est un peu gênant et son SKD est incomplet.

6. MogileFS

MogileFS est un ensemble de composants de sauvegarde automatique de fichiers open source efficaces, développés par Six Apart et largement utilisés dans les sites Web 2.0, notamment LiveJournal. Prend en charge la redondance multi-nœuds et permet la réplication automatique des fichiers. Il n'y a pas besoin de RAID. La couche application peut directement implémenter le RAID sans rien partager. Elle fournit des services via l'interface du cluster et fonctionne sur la couche application. Il n'y a aucune exigence particulière en matière de composants. Utilisez HTTP pour communiquer.

Les entreprises connues pour utiliser MogileFS en Chine incluent des sites Web d'hébergement d'images tels que yupoo, digg, Tudou, Douban, No. 1 store, Dianping, Sogou, Anjuke et d'autres sites Web. Fondamentalement, la capacité de nombreux sites Web et images dépasse. 30T.

7. GridFS

MongoDB est une base de données NoSql bien connue. GridFS est une fonction intégrée de MongoDB. Elle est utilisée pour stocker et restaurer des fichiers (tels que des images, des audios, des vidéos, etc.) qui dépassent 16 Mo (BSON. limite de fichiers). C'est un moyen de stocker des fichiers, mais il est stocké dans une collection MonoDB. Il peut exploiter directement les mécanismes de réplication ou de partitionnement établis, de sorte que la récupération après panne et l'expansion sont faciles pour le stockage de fichiers, et GridFS ne produit pas de fragmentation du disque.

8. MinIO

MinIO est un service de stockage d'objets basé sur le protocole open source Apache License v2.0. Il est compatible avec l'interface du service de stockage cloud Amazon S3 et est très approprié pour stocker des données non structurées de grande capacité, telles que des images, des vidéos, des fichiers journaux, des données de sauvegarde et des images de conteneurs/machines virtuelles, etc., et un fichier objet peut être de toute taille, allant de plusieurs gammes allant de Ko à un maximum de 5T. C'est également un service très léger qui peut être facilement combiné avec d'autres applications. MinIO se caractérise par sa simplicité, sa légèreté, sa convivialité pour les développeurs, son faible coût d'apprentissage, son installation et son fonctionnement simples, et peut être utilisé immédiatement.

9. SeaweedFS

SeaweedFS est un système de stockage distribué open source hautement évolutif développé sur la base du langage go. Il peut stocker des milliards de fichiers (en fin de compte en fonction de la taille de votre disque dur), est rapide et prend peu de mémoire. La mise en route est beaucoup plus simple que fastDFS et est livré avec sa propre API Rest. Il est très efficace pour les fichiers de petite et moyenne taille, mais la capacité maximale d'un seul volume est limitée à 30 Go par le programme. Il est recommandé de stocker les fichiers dans les 100 Mo.

10. Ceph

Ceph est un système de fichiers distribué mature sous Red Hat, et c'est également un environnement écologique de stockage d'objets avec des fonctions de niveau entreprise. Le système présente les caractéristiques de hautes performances, de haute disponibilité, de haute évolutivité et de stockage en temps réel. Bien que Ceph soit très puissant, il est coûteux à apprendre et compliqué à installer et à utiliser. Ceph est écrit en C++ et sa capacité de stockage peut facilement atteindre des niveaux de PB.

11. GlusterFS
GlusterFS est un système de fichiers distribué POSIX (open source sous GPL) développé par la société américaine Gluster. Il est principalement utilisé dans les systèmes de cluster et présente les caractéristiques d'une haute évolutivité, d'une haute disponibilité, de hautes performances et d'une évolutivité horizontale. Et sa conception sans serveur de métadonnées signifie que l’ensemble du service n’a aucun point de défaillance unique. Le système est principalement conçu pour les fichiers moyens et volumineux, et la capacité de stockage peut facilement atteindre des pétaoctets. Il présente les inconvénients que l'expansion et la contraction affectent de nombreux serveurs, que le parcours des fichiers dans le répertoire prend du temps et que les performances des petits fichiers sont médiocres.

Recommandations associées : "Tutoriel vidéo Linux"

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!