Verabschieden Sie sich von verwaisten Snapshots: Automatisieren Sie die Bereinigung mit Serverless, Terraform und AWS EventBridge!

Mit der Zeit können sich in AWS-Konten Ressourcen ansammeln, die nicht mehr notwendig sind, aber weiterhin Kosten verursachen. Ein häufiges Beispiel sind verwaiste EBS-Snapshots, die nach dem Löschen von Volumes zurückbleiben. Die manuelle Verwaltung dieser Snapshots kann mühsam und kostspielig sein.

Diese Anleitung zeigt, wie Sie die Bereinigung verwaister EBS-Snapshots mithilfe von Python (Boto3) und Terraform in einer AWS Lambda-Funktion automatisieren, die dann mithilfe von AWS EventBridge nach einem Zeitplan oder Ereignis ausgelöst wird.

Am Ende verfügen Sie über eine vollständige serverlose Lösung, um Ihre AWS-Umgebung sauber und kosteneffizient zu halten.

Schritt 1: AWS CLI und Terraform installieren

Stellen Sie zunächst sicher, dass die wesentlichen Tools installiert sind.

AWS CLI
Die AWS CLI ermöglicht den Befehlszeilenzugriff auf AWS-Dienste. Installieren Sie es entsprechend Ihrem Betriebssystem:

macOS: brew install awscli
Windows:AWS CLI-Installationsprogramm
Linux:Verwenden Sie den Paketmanager (z. B. sudo apt install awscli für Ubuntu).
Installation überprüfen:

aws --version

Terraform
Terraform ist ein beliebtes Infrastructure as Code (IaC)-Tool zum Definieren und Verwalten von AWS-Ressourcen.

macOS: brew install terraform
Windows: Terraform-Installationsprogramm
Linux: Laden Sie die Binärdatei herunter und verschieben Sie sie nach /usr/local/bin.

Installation überprüfen:

terraform -version

Schritt 2: AWS Access konfigurieren

Konfigurieren Sie Ihre AWS CLI mit Zugriffsschlüsseln, damit Terraform und Lambda sich bei AWS-Diensten authentifizieren können.

Zugriffsschlüssel erhalten von Ihrem AWS-Konto (AWS IAM-Konsole).
AWS CLI konfigurieren:

aws configure

Folgen Sie den Anweisungen zur Eingabe Ihres Zugriffsschlüssels, Ihres geheimen Zugriffsschlüssels, der Standardregion (z. B. us-east-1) und des Ausgabeformats (z. B. json).

Schritt 3: Python-Code für die Bereinigung verwaister Snapshots

Eine Schritt-für-Schritt-Anleitung zum Erstellen einer Lambda-Funktion finden Sie hier.

Diese Lambda-Funktion verwendet Boto3, das Python SDK von AWS, um alle EBS-Snapshots aufzulisten, den zugehörigen Volume-Status zu überprüfen und Snapshots zu löschen, wenn das Volume nicht mehr verfügbar ist. Hier ist der vollständige Funktionscode:

import boto3
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    ec2_cli = boto3.client("ec2")
    response = ec2_cli.describe_snapshots(OwnerIds=["self"], DryRun=False)
    snapshot_id = []
    for each_snapshot in response["Snapshots"]:
        try:
            volume_stat = ec2_cli.describe_volume_status(
                VolumeIds=[each_snapshot["VolumeId"]], DryRun=False
            )
        except ec2_cli.exceptions.ClientError as e:
            if e.response["Error"]["Code"] == "InvalidVolume.NotFound":
                snapshot_id.append(each_snapshot["SnapshotId"])
            else:
                raise e

    if snapshot_id:
        for each_snap in snapshot_id:
            try:
                ec2_cli.delete_snapshot(SnapshotId=each_snap)
                logger.info(f"Deleted SnapshotId {each_snap}")
            except ec2_cli.exceptions.ClientError as e:
                return {
                    "statusCode": 500,
                    "body": f"Error deleting snapshot {each_snap}: {e}",
                }

    return {"statusCode": 200}

Schritt 4: Terraform-Konfiguration für serverlose Infrastruktur

Mit Terraform erstellen wir eine Lambda-Funktion, eine IAM-Rolle und eine Richtlinie, um dieses Skript in AWS bereitzustellen. Darüber hinaus richten wir eine EventBridge-Regel ein, um Lambda regelmäßig auszulösen.

Terraform-Setup und Anbieterkonfiguration
In diesem Abschnitt wird Terraform konfiguriert, einschließlich der Einrichtung der Remote-Statusverwaltung in S3.
Hinweis:Ändern Sie den Wert „required_version“ gemäß der Terraform-Versionsausgabe.

aws --version

IAM-Rolle und -Richtlinie für Lambda
Diese IAM-Konfiguration richtet Berechtigungen für Lambda für den Zugriff auf EC2 und CloudWatch ein und ermöglicht das Löschen und Protokollieren von Snapshots.

terraform -version

Verpacken und Bereitstellen der Lambda-Funktion
Hier verpacken wir den Python-Code und stellen ihn als Lambda-Funktion bereit.

aws configure

EventBridge-Regel für Lambda-Aufruf
Mit AWS EventBridge können Sie geplante oder ereignisbasierte Trigger für Lambda-Funktionen erstellen. Hier konfigurieren wir EventBridge so, dass unsere Lambda-Funktion nach einem Zeitplan aufgerufen wird, etwa alle 24 Stunden. Weitere Informationen zu EventBridge und geplanten Ereignissen finden Sie in der AWS-Dokumentation hier.

import boto3
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    ec2_cli = boto3.client("ec2")
    response = ec2_cli.describe_snapshots(OwnerIds=["self"], DryRun=False)
    snapshot_id = []
    for each_snapshot in response["Snapshots"]:
        try:
            volume_stat = ec2_cli.describe_volume_status(
                VolumeIds=[each_snapshot["VolumeId"]], DryRun=False
            )
        except ec2_cli.exceptions.ClientError as e:
            if e.response["Error"]["Code"] == "InvalidVolume.NotFound":
                snapshot_id.append(each_snapshot["SnapshotId"])
            else:
                raise e

    if snapshot_id:
        for each_snap in snapshot_id:
            try:
                ec2_cli.delete_snapshot(SnapshotId=each_snap)
                logger.info(f"Deleted SnapshotId {each_snap}")
            except ec2_cli.exceptions.ClientError as e:
                return {
                    "statusCode": 500,
                    "body": f"Error deleting snapshot {each_snap}: {e}",
                }

    return {"statusCode": 200}

Schritt 5: Anwenden der Terraform-Konfiguration

Nachdem Sie die Infrastruktur definiert haben, initialisieren Sie die Terraform-Konfiguration und wenden Sie sie an:

terraform {
  required_version = ">=1.5.6"
  required_providers {
    aws = {
      source  = "hashicorp/aws"
      version = "~> 5.72.0"
    }
  }
  backend "s3" {
    bucket         = "terraform-state-files-0110"
    key            = "delete-orphan-snapshots/terraform.tfstate"
    region         = "us-east-1"
    dynamodb_table = "tf_state_file_locking"
  }
}

provider "aws" {
  region = "us-east-1"
}

Schritt 6: Testen und Überwachen der Lambda-Funktion

Um zu überprüfen, ob die Lösung funktioniert:

1. Ereignis manuell auslösen (optional): Für erste Tests lösen Sie die Lambda-Funktion manuell über die AWS Lambda-Konsole aus.
2. CloudWatch-Protokolle überwachen: Die Lambda-Funktion schreibt Protokolle in CloudWatch, wo Sie Einträge überprüfen können, um Snapshot-Löschungen zu überprüfen.
3. Passen Sie den Zeitplan nach Bedarf an:Ändern Sie den Zeitplanausdruck, um eine benutzerdefinierte Häufigkeit für die Snapshot-Bereinigung festzulegen.

Zusammenfassung
Durch die Kombination von Python (Boto3), Terraform und AWS EventBridge haben wir eine vollautomatische, serverlose Lösung zum Bereinigen verwaister EBS-Snapshots erstellt. Dieses Setup reduziert nicht nur die Cloud-Kosten, sondern fördert auch eine aufgeräumte, effiziente AWS-Umgebung. Bei geplanten Aufrufen können Sie sicher sein, dass verwaiste Ressourcen konsequent entfernt werden.

Probieren Sie diese Lösung in Ihrem eigenen AWS-Konto aus und erleben Sie die Vorteile der Automatisierung im Cloud-Ressourcenmanagement!

Das obige ist der detaillierte Inhalt vonVerabschieden Sie sich von verwaisten Snapshots: Automatisieren Sie die Bereinigung mit Serverless, Terraform und AWS EventBridge!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!