Comment gérer les incohérences du système de fichiers et de la taille de l'espace des instantanés

Cet article explique comment gérer l'incohérence entre le système de fichiers et l'espace d'instantané, et se concentre sur les étapes spécifiques. Le contenu de cet article est compact et j'espère que tout le monde pourra y gagner quelque chose.

Pourquoi les tailles du système de fichiers et de l'espace des instantanés sont-elles incohérentes ?

Un utilisateur a demandé qu'après avoir supprimé des fichiers dans l'instance ECS, puis pris un instantané, il avait constaté que la capacité de l'instantané n'avait pas diminué. La raison de ce phénomène est liée au principe de l'instantané et à la relation entre le système de fichiers, le disque et l'instantané, c'est-à-dire que tant que le bloc de stockage de données (Block) a été écrit, le bloc de données sera toujours supprimé. même si les fichiers associés sur le disque ont été supprimés sur l'instantané, l'instantané occupe donc plus d'espace que le disque. La soi-disant suppression dans le système de fichiers marque uniquement l'en-tête du fichier qui doit être supprimé pour informer l'utilisateur que cet espace peut être utilisé, mais cela ne réduira pas l'espace occupé par le disque lui-même.

Pourquoi les tailles du système de fichiers et de l'espace des instantanés sont-elles incohérentes ?

Ce que les utilisateurs voient à l'intérieur de l'instance est le disque (EBS), et ce qui est créé sur la partition du disque est le système de fichiers (File System). Le système de fichiers est responsable de la gestion de l'espace disque et ses opérations sont finalement converties en requêtes d'E/S disque. EBS enregistrera l'état des blocs (en référence à l'adresse de bloc logique du disque divisé en blocs de même taille par stockage de blocs) et copiera les données sales sur OSS à la demande. Il s'agit du processus de prise d'instantané.

Les raisons suivantes peuvent entraîner une incohérence entre l'espace du système de fichiers et la taille de l'instantané :

Les métadonnées du système de fichiers lui-même occuperont de l'espace disque.

Le processus de création d'un système de fichiers écrira un grand nombre de blocs. En particulier, le formatage lent de Windows écrira un grand nombre de blocs sales, tandis que l'utilisation d'un formatage rapide peut réduire le nombre de blocs écrits.

Afin de réduire la surcharge, le système de fichiers marque uniquement le fichier en interne lors de sa suppression. Cependant, EBS ne perçoit pas cette commande de suppression et le bloc est toujours alloué, cette partie sera donc toujours incluse dans l'instantané. , ce qui donne L'instantané est plus grand que le système de fichiers.

Les modules Virtio-block et Block-front de Xen ne prennent pas en charge l'instruction TRIM (une instruction IO qui demande qu'un certain élément de données sur le LBA ne soit plus utilisé et puisse être supprimé), de sorte que le disque ne peut pas sens que les données peuvent être supprimées.

Le principe de création d'un instantané

Le principe de création d'un instantané est tel que présenté dans la figure ci-dessous.

Explication :

Divisez le disque LBA (adresse de bloc logique) en blocs, et ceux non alloués sont appelés blocs vides, qui sont représentés par les petites cases blanches sur l'image.

Tant que le Bloc est écrit (alloué et ne sera plus un bloc vide), il participera à la mesure.

Le premier instantané du disque est en taille réelle et les blocs vides ne sont pas copiés.

L'instantané suivant du disque est un instantané incrémentiel, copiant les données incrémentielles sales depuis l'instantané précédent, de sorte que le même bloc peut avoir plusieurs versions dans différents instantanés (indiqués par différentes couleurs sur la figure).

Méthode de mesure de l'instantané

Comme le montre la figure ci-dessus, il y a 11 blocs dans l'instantané espace d'enregistrement. Il y a 2 blocs supplémentaires sur les 9 du disque T2.

Mesurez tous les instantanés d'un seul disque dans son ensemble.

Seuls les blocs alloués sont mesurés. La même version de Block à différents moments n’est comptée qu’une seule fois.

Différentes versions de Block occupent N fois l'espace.

Le principe de la suppression des instantanés

Le principe de la suppression des instantanés est illustré dans la figure ci-dessous.

Instructions :

Analyse hors ligne de tous les blocs d'instantanés supprimés et supprimez les données qui ne sont pas référencées par d'autres instantanés.

Après la suppression de S1, les instantanés restants ont un total de 10 blocs (dont 6 de S0, 2 données sales générées par S1 et 2 de S2.) au lieu de 8 blocs (6 de S0, 2 de S2 ).

La définition précise de « l'opération d'écriture de données »

Clarifier d'abord un concept, la distribution sous-jacente Pour les systèmes de stockage conventionnels, les « opérations d'écriture de données » désignent non seulement les données commerciales écrites par les utilisateurs, mais incluent également une série d'opérations d'E/S telles que le formatage des disques.

Une fois que les utilisateurs ont obtenu le disque, ils doivent le formater avant de pouvoir l'utiliser normalement. L'essence du formatage est le processus d'établissement d'un système de fichiers. Avant qu'une partition ou un disque puisse être utilisé comme système de fichiers, il doit être initialisé et la structure des données enregistrée sur le disque. Ce processus est appelé établissement d'un système de fichiers.

Par conséquent, établir un système de fichiers sur le disque signifie écrire des données sur le disque. Différents systèmes de fichiers ont des tailles de fichiers différentes lors du formatage. Les détails sont les suivants :

Le formatage du système Windows est divisé en formatage rapide et normal :

Le formatage rapide attribue uniquement un système de fichiers à la partition et réécrit la table du répertoire ;

Le format normal effectue non seulement le travail ci-dessus, mais analyse également la partition secteur par secteur pour identifier et marquer les secteurs défectueux ;

Par conséquent, l'opération de formatage normale remplira les blocs vides du disque, ce qui équivaut à écrire le disque entier. Dans ce cas, la taille du premier instantané complet sera approximativement égale à la capacité du disque. L'espace réel occupé par le formatage rapide est relativement petit.

Le formatage du système Linux est également le processus d'établissement d'un système de fichiers. Ainsi, lorsque le disque vient d'être formaté et que l'utilisateur n'a pas écrit de données professionnelles, le premier instantané aura également une certaine capacité, en fonction des différents formats du système de fichiers.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!