So stellen Sie mithilfe von Python eine Verbindung zu AWS OpenSearch- oder Elasticsearch-Clustern her

Das Herstellen einer Verbindung zu einem OpenSearch (ES)-Dienst, der in AWS ausgeführt wird, mithilfe von Python ist mühsam. Die meisten Beispiele, die ich online finde, funktionieren entweder nicht oder sind veraltet, sodass ich ständig die gleichen Probleme behebe. Um Zeit und Frust zu sparen, finden Sie hier eine Sammlung funktionierender Code-Snippets, aktuell mit Stand Dezember 2024.

• Verbinden Sie sich mit der opensearch-py-Bibliothek (OpenSearch ElasticSearch)
• Stellen Sie eine Verbindung über die Elasticsearch-Bibliothek her (nur ElasticSearch).
  • elasticsearch >= 8
  • elasticsearch < 8

---

Stellen Sie eine Verbindung über die opensearch-py-Bibliothek (OpenSearch ElasticSearch) her.

Dies ist meine bevorzugte Art der Verbindung zu einer von AWS verwalteten ES-Instanz. Es funktioniert sowohl für ElasticSearch- als auch für OpenSearch-Cluster und die Authentifizierung kann AWS-Profile nutzen.

Installieren Sie opensearch-py und boto3 (zur Authentifizierung):

pip install opensearch-py boto3

Zum Zeitpunkt des Verfassens dieses Artikels werden opensearch-py==2.8.0 und boto3==1.35.81 installiert.

Jetzt können Sie wie folgt einen Client erstellen:

import boto3

from opensearchpy import (
    AWSV4SignerAuth,
    OpenSearch,
    RequestsHttpConnection,
)

es_host = "search-my-aws-esdomain-5k2baneoyj4vywjseocultv2au.eu-central-1.es.amazonaws.com"
aws_access_key = "AKIAXCUEGTAF3CV7GYKA"
aws_secret_key = "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"
region = "eu-central-1"

# Note: you can also use boto3.Session(profile_name="my-profile") or other ways
session = boto3.Session(
    aws_access_key_id=aws_access_key,
    aws_secret_access_key=aws_secret_key,
    region_name=region,
)

client = OpenSearch(
    hosts=[{"host": es_host, "port": 443}],
    http_auth=AWSV4SignerAuth(session.get_credentials(), region, "es"),
    connection_class=RequestsHttpConnection,
    use_ssl=True,
)

Beachten Sie, dass boto3.Session verschiedene Möglichkeiten zum Erstellen einer Sitzung unterstützt: die Verwendung eines Profils, Umgebungsvariablen und mehr. Ich lasse Sie es sich ansehen!

Sobald Sie es haben, überprüfen Sie die Verbindung mit:

client.ping() # should return True
client.info() # use this to get a proper error message if ping fails

So überprüfen Sie Indizes:

# List all indices
client.cat.indices()
client.indices.get("*")

# Check the existence of an indice
client.indices.exists("my-index")

---

Stellen Sie eine Verbindung über die Elasticsearch-Bibliothek her (nur ElasticSearch).

? Dies funktioniert nur für ElasticSearch-Cluster! Beim Herstellen einer Verbindung mit einem OpenSearch-Cluster werden

ausgelöst

UnsupportedProductError: Der Client hat festgestellt, dass der Server nicht Elasticsearch ist und wir dieses unbekannte Produkt nicht unterstützen

elastische Suche >= 8

Die meisten Snippets verweisen immer noch auf RequestsHttpConnection, eine Klasse, die in Elasticsearch 8.X entfernt wurde. Wenn Sie nach dem Fehler gegoogelt haben, dass der Name „RequestsHttpConnection“ nicht aus „elasticsearch“ importiert werden kann, sind Sie hier richtig!

Installieren Sie Elasticsearch (dies sollte auch Elastic-Transport installieren) und „requests_aws4auth“. Letzteres ist auf Anfrage erforderlich, um die Authentifizierung bei AWS durchzuführen:

pip install elasticsearch requests-aws4auth

Zum Zeitpunkt des Verfassens dieses Artikels werden hierdurch Elastic-transport==8.15.1, Elasticsearch==8.17.0 und Requests-aws4auth==1.3.1 installiert.

Jetzt können Sie wie folgt einen Client erstellen:

from elastic_transport import RequestsHttpNode
from elasticsearch import Elasticsearch
from requests_aws4auth import AWS4Auth

es_endpoint = "search-my-aws-esdomain-5k2baneoyj4vywjseocultv2au.eu-central-1.es.amazonaws.com"
aws_access_key = "AKIAXCUEGTAF3CV7GYKA"
aws_secret_key = "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"
region = "eu-central-1"

es = Elasticsearch(
    f"https://{es_host}",
    http_auth=AWS4Auth(
        aws_access_key, 
        aws_secret_key, 
        region,
        "es",
    ),
    verify_certs=True,
    node_class=RequestsHttpNode,
)

Sobald Sie es haben, überprüfen Sie die Verbindung mit:

es.ping() # should return True
es.info() # use this to get a proper error message if ping fails

elastische Suche < 8

Wenn Sie noch eine alte Version von Elasticsearch verwenden:

pip install "elasticsearch<8" requests-aws4auth

Derzeit Elasticsearch==7.17.12, request-aws4auth==1.3.1.

Jetzt können Sie wie folgt einen Client erstellen:

pip install opensearch-py boto3

Überprüfen Sie die Verbindung:

import boto3

from opensearchpy import (
    AWSV4SignerAuth,
    OpenSearch,
    RequestsHttpConnection,
)

es_host = "search-my-aws-esdomain-5k2baneoyj4vywjseocultv2au.eu-central-1.es.amazonaws.com"
aws_access_key = "AKIAXCUEGTAF3CV7GYKA"
aws_secret_key = "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"
region = "eu-central-1"

# Note: you can also use boto3.Session(profile_name="my-profile") or other ways
session = boto3.Session(
    aws_access_key_id=aws_access_key,
    aws_secret_access_key=aws_secret_key,
    region_name=region,
)

client = OpenSearch(
    hosts=[{"host": es_host, "port": 443}],
    http_auth=AWSV4SignerAuth(session.get_credentials(), region, "es"),
    connection_class=RequestsHttpConnection,
    use_ssl=True,
)

Das obige ist der detaillierte Inhalt vonSo stellen Sie mithilfe von Python eine Verbindung zu AWS OpenSearch- oder Elasticsearch-Clustern her. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!