Dites adieu aux instantanés orphelins : automatisez le nettoyage avec Serverless, Terraform et AWS EventBridge !

Au fil du temps, les comptes AWS peuvent accumuler des ressources qui ne sont plus nécessaires mais qui continuent d'engendrer des coûts. Un exemple courant est celui des instantanés EBS orphelins laissés après la suppression des volumes. La gestion manuelle de ces instantanés peut être fastidieuse et coûteuse.

Ce guide montre comment automatiser le nettoyage des instantanés EBS orphelins à l'aide de Python (Boto3) et Terraform dans une fonction AWS Lambda, qui est ensuite déclenchée à l'aide d'AWS EventBridge selon une planification ou un événement.

À la fin, vous disposerez d'une solution sans serveur complète pour garder votre environnement AWS propre et rentable.

Étape 1 : Installation de l'AWS CLI et de Terraform

Tout d’abord, assurons-nous que les outils essentiels sont installés.

AWS CLI
L'AWS CLI permet l'accès en ligne de commande aux services AWS. Installez-le en fonction de votre système d'exploitation :

macOS :brew install awscli
Windows : Programme d'installation de l'AWS CLI
Linux : Utilisez le gestionnaire de paquets (par exemple, sudo apt install awscli pour Ubuntu).
Vérifiez l'installation :

aws --version

Terraforme
Terraform est un outil Infrastructure as Code (IaC) populaire pour définir et gérer les ressources AWS.

macOS :brew install terraform
Windows : Programme d'installation de Terraform
Linux : Téléchargez le binaire et déplacez-le vers /usr/local/bin.

Vérifier l'installation :

terraform -version

Étape 2 : Configuration d'AWS Access

Configurez votre AWS CLI avec des clés d'accès pour permettre à Terraform et Lambda de s'authentifier auprès des services AWS.

Obtenez les clés d'accès depuis votre compte AWS (AWS IAM Console).
Configurer AWS CLI :

aws configure

Suivez les invites pour saisir votre clé d'accès, votre clé d'accès secrète, votre région par défaut (par exemple, us-east-1) et votre format de sortie (par exemple, json).

Étape 3 : Code Python pour le nettoyage des instantanés orphelins

Des instructions étape par étape pour créer une fonction Lambda sont fournies ici.

Cette fonction Lambda utilise Boto3, le SDK Python d'AWS, pour répertorier tous les instantanés EBS, vérifier l'état de leur volume associé et supprimer les instantanés lorsque le volume n'est plus disponible. Voici le code de fonction complet :

import boto3
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    ec2_cli = boto3.client("ec2")
    response = ec2_cli.describe_snapshots(OwnerIds=["self"], DryRun=False)
    snapshot_id = []
    for each_snapshot in response["Snapshots"]:
        try:
            volume_stat = ec2_cli.describe_volume_status(
                VolumeIds=[each_snapshot["VolumeId"]], DryRun=False
            )
        except ec2_cli.exceptions.ClientError as e:
            if e.response["Error"]["Code"] == "InvalidVolume.NotFound":
                snapshot_id.append(each_snapshot["SnapshotId"])
            else:
                raise e

    if snapshot_id:
        for each_snap in snapshot_id:
            try:
                ec2_cli.delete_snapshot(SnapshotId=each_snap)
                logger.info(f"Deleted SnapshotId {each_snap}")
            except ec2_cli.exceptions.ClientError as e:
                return {
                    "statusCode": 500,
                    "body": f"Error deleting snapshot {each_snap}: {e}",
                }

    return {"statusCode": 200}

Étape 4 : Configuration de Terraform pour une infrastructure sans serveur

À l'aide de Terraform, nous créerons une fonction Lambda, un rôle IAM et une stratégie pour déployer ce script sur AWS. De plus, nous configurerons une règle EventBridge pour déclencher Lambda selon un calendrier régulier.

Installation de Terraform et configuration du fournisseur
Cette section configure Terraform, y compris la configuration de la gestion de l'état à distance dans S3.
Remarque : Modifiez la valeur de require_version selon la sortie terraform -version.

aws --version

Rôle et politique IAM pour Lambda
Cette configuration IAM configure les autorisations permettant à Lambda d'accéder à EC2 et CloudWatch, permettant la suppression et la journalisation des instantanés.

terraform -version

Emballage et déploiement de la fonction Lambda
Ici, nous emballons le code Python et le déployons en tant que fonction Lambda.

aws configure

Règle EventBridge pour l'invocation Lambda
AWS EventBridge vous permet de créer des déclencheurs planifiés ou basés sur des événements pour les fonctions Lambda. Ici, nous allons configurer EventBridge pour appeler notre fonction Lambda selon un planning, par exemple toutes les 24 heures. Vous pouvez en savoir plus sur EventBridge et les événements planifiés dans la documentation AWS ici.

import boto3
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    ec2_cli = boto3.client("ec2")
    response = ec2_cli.describe_snapshots(OwnerIds=["self"], DryRun=False)
    snapshot_id = []
    for each_snapshot in response["Snapshots"]:
        try:
            volume_stat = ec2_cli.describe_volume_status(
                VolumeIds=[each_snapshot["VolumeId"]], DryRun=False
            )
        except ec2_cli.exceptions.ClientError as e:
            if e.response["Error"]["Code"] == "InvalidVolume.NotFound":
                snapshot_id.append(each_snapshot["SnapshotId"])
            else:
                raise e

    if snapshot_id:
        for each_snap in snapshot_id:
            try:
                ec2_cli.delete_snapshot(SnapshotId=each_snap)
                logger.info(f"Deleted SnapshotId {each_snap}")
            except ec2_cli.exceptions.ClientError as e:
                return {
                    "statusCode": 500,
                    "body": f"Error deleting snapshot {each_snap}: {e}",
                }

    return {"statusCode": 200}

Étape 5 : Application de la configuration Terraform

Après avoir défini l'infrastructure, initialisez et appliquez la configuration Terraform :

terraform {
  required_version = ">=1.5.6"
  required_providers {
    aws = {
      source  = "hashicorp/aws"
      version = "~> 5.72.0"
    }
  }
  backend "s3" {
    bucket         = "terraform-state-files-0110"
    key            = "delete-orphan-snapshots/terraform.tfstate"
    region         = "us-east-1"
    dynamodb_table = "tf_state_file_locking"
  }
}

provider "aws" {
  region = "us-east-1"
}

Étape 6 : Test et surveillance de la fonction Lambda

Pour vérifier que la solution fonctionne :

1. Déclencher manuellement l'événement (facultatif) : pour les tests initiaux, déclenchez la fonction Lambda manuellement à partir de la console AWS Lambda.
2. Surveiller les journaux CloudWatch : La fonction Lambda écrit des journaux dans CloudWatch, où vous pouvez consulter les entrées pour vérifier les suppressions d'instantanés.
3. Ajustez la planification selon vos besoins : Modifiez l'expression_schedule pour définir une fréquence personnalisée pour le nettoyage des instantanés.

Conclusion
En combinant Python (Boto3), Terraform et AWS EventBridge, nous avons créé une solution entièrement automatisée et sans serveur pour nettoyer les instantanés EBS orphelins. Cette configuration réduit non seulement les coûts du cloud, mais favorise également un environnement AWS ordonné et efficace. Grâce aux appels planifiés, vous pouvez être assuré que les ressources orphelines sont systématiquement supprimées.

Essayez cette solution dans votre propre compte AWS et découvrez les avantages de l'automatisation dans la gestion des ressources cloud !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!