Python을 사용하여 AWS OpenSearch 또는 Elasticsearch 클러스터에 연결하는 방법

Python을 사용하여 AWS에서 실행되는 OpenSearch(ES) 서비스에 연결하는 것은 쉽지 않습니다. 온라인에서 찾은 대부분의 예는 작동하지 않거나 오래되어 동일한 문제를 지속적으로 해결하게 되었습니다. 시간과 불편함을 줄이기 위해 2024년 12월 기준 최신 작동 코드 조각 모음을 소개합니다.

• opensearch-py 라이브러리(OpenSearch ElasticSearch)를 사용하여 연결
• elasticsearch 라이브러리를 사용하여 연결(ElasticSearch에만 해당)
  • elasticsearch >= 8
  • 탄성 검색 < 8

---

opensearch-py 라이브러리(OpenSearch ElasticSearch)를 사용하여 연결

이것은 AWS에서 관리하는 ES 인스턴스에 연결할 때 제가 선호하는 방법입니다. ElasticSearch 및 OpenSearch 클러스터 모두에서 작동하며 인증은 AWS 프로필을 활용할 수 있습니다.

opensearch-py 및 boto3 설치(인증용):

pip install opensearch-py boto3

작성 시점에는 opensearch-py==2.8.0 및 boto3==1.35.81이 설치되어 있습니다.

이제 다음을 사용하여 클라이언트를 생성할 수 있습니다.

import boto3

from opensearchpy import (
    AWSV4SignerAuth,
    OpenSearch,
    RequestsHttpConnection,
)

es_host = "search-my-aws-esdomain-5k2baneoyj4vywjseocultv2au.eu-central-1.es.amazonaws.com"
aws_access_key = "AKIAXCUEGTAF3CV7GYKA"
aws_secret_key = "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"
region = "eu-central-1"

# Note: you can also use boto3.Session(profile_name="my-profile") or other ways
session = boto3.Session(
    aws_access_key_id=aws_access_key,
    aws_secret_access_key=aws_secret_key,
    region_name=region,
)

client = OpenSearch(
    hosts=[{"host": es_host, "port": 443}],
    http_auth=AWSV4SignerAuth(session.get_credentials(), region, "es"),
    connection_class=RequestsHttpConnection,
    use_ssl=True,
)

boto3.Session은 프로필, 환경 변수 등을 사용하여 세션을 생성하는 다양한 방법을 지원합니다. 확인해보도록 할게요!

다운받은 후 다음을 사용하여 연결을 확인하세요.

client.ping() # should return True
client.info() # use this to get a proper error message if ping fails

색인을 확인하려면:

# List all indices
client.cat.indices()
client.indices.get("*")

# Check the existence of an indice
client.indices.exists("my-index")

---

elasticsearch 라이브러리를 사용하여 연결(ElasticSearch에만 해당)

? 이는 ElasticSearch 클러스터에서만 작동합니다! OpenSearch 클러스터에 연결하면

UnsupportedProductError: 클라이언트가 서버가 Elasticsearch가 아니며 우리가 이 알 수 없는 제품을 지원하지 않는다는 것을 발견했습니다.

탄성 검색 >= 8

대부분의 스니펫은 여전히 ​​Elasticsearch 8.X에서 제거된 클래스인 RequestsHttpConnection을 참조하고 있습니다. 'elasticsearch'에서 'RequestsHttpConnection' 이름을 가져올 수 없다는 오류에 대해 인터넷 검색 중이라면 올바른 위치에 있습니다!

elasticsearch를 설치하고(elastic-transport도 설치해야 함), request_aws4auth 를 설치합니다. 요청에 따라 후자는 AWS에 대한 인증을 처리하는 데 필요합니다.

pip install elasticsearch requests-aws4auth

이 글을 쓰는 시점에는 elastic-transport==8.15.1, elasticsearch==8.17.0 및 요청-aws4auth==1.3.1이 설치됩니다.

이제 다음을 사용하여 클라이언트를 생성할 수 있습니다.

from elastic_transport import RequestsHttpNode
from elasticsearch import Elasticsearch
from requests_aws4auth import AWS4Auth

es_endpoint = "search-my-aws-esdomain-5k2baneoyj4vywjseocultv2au.eu-central-1.es.amazonaws.com"
aws_access_key = "AKIAXCUEGTAF3CV7GYKA"
aws_secret_key = "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"
region = "eu-central-1"

es = Elasticsearch(
    f"https://{es_host}",
    http_auth=AWS4Auth(
        aws_access_key, 
        aws_secret_key, 
        region,
        "es",
    ),
    verify_certs=True,
    node_class=RequestsHttpNode,
)

다운받은 후 다음을 사용하여 연결을 확인하세요.

es.ping() # should return True
es.info() # use this to get a proper error message if ping fails

엘라스틱서치 < 8

아직 이전 버전의 Elasticsearch를 사용하고 계시다면:

pip install "elasticsearch<8" requests-aws4auth

현재 elasticsearch==7.17.12, 요청-aws4auth==1.3.1.

이제 다음을 사용하여 클라이언트를 생성할 수 있습니다.

pip install opensearch-py boto3

연결 확인:

import boto3

from opensearchpy import (
    AWSV4SignerAuth,
    OpenSearch,
    RequestsHttpConnection,
)

es_host = "search-my-aws-esdomain-5k2baneoyj4vywjseocultv2au.eu-central-1.es.amazonaws.com"
aws_access_key = "AKIAXCUEGTAF3CV7GYKA"
aws_secret_key = "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"
region = "eu-central-1"

# Note: you can also use boto3.Session(profile_name="my-profile") or other ways
session = boto3.Session(
    aws_access_key_id=aws_access_key,
    aws_secret_access_key=aws_secret_key,
    region_name=region,
)

client = OpenSearch(
    hosts=[{"host": es_host, "port": 443}],
    http_auth=AWSV4SignerAuth(session.get_credentials(), region, "es"),
    connection_class=RequestsHttpConnection,
    use_ssl=True,
)

위 내용은 Python을 사용하여 AWS OpenSearch 또는 Elasticsearch 클러스터에 연결하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!