So verwenden Sie AWS Glue-Crawler mit Amazon Athena
Als Datenprofi beschäftigen Sie sich mit riesigen Datenmengen von a Vielzahl von Quellen. Dies kann die Datenverwaltung und -analyse vereinfachen Herausforderung. Glücklicherweise können zwei AWS-Dienste helfen: AWS Glue und Amazon Athene.
Wenn Sie diese Dienste integrieren, erschließen Sie das volle Potenzial von Datenerkennung, Katalogisierung und Abfrage innerhalb des AWS-Ökosystems. Lass uns Sehen Sie sich an, wie sie Ihren Datenanalyse-Workflow optimieren können.
Was ist AWS Glue?
AWS-Kleber ist ein serverlos verwalteter Dienst, der es Ihnen ermöglicht, zu erkennen, vorzubereiten, Verschieben und integrieren Sie Daten aus mehreren Quellen. Als Datenintegration Mit AWS Glue haben Sie die Möglichkeit, Daten zentral zu verwalten Standort, ohne die Infrastruktur verwalten zu müssen.
Was ist AWS Glue Crawler?
Glue Crawler sind automatisierte Datenerkennungstools, die Daten scannen Quelle, um die darin enthaltenen Daten automatisch zu klassifizieren, zu gruppieren und zu katalogisieren. Anschließend werden neue Tabellen in Ihren AWS Glue-Daten erstellt oder vorhandene Tabellen aktualisiert Katalog.
Was ist der Glue Data Catalog?
Der AWS Glue Data Catalog ist ein Index des Standorts Ihrer Daten, Schema und Laufzeitmetriken. Sie benötigen diese Informationen zum Erstellen und Überwachen Sie Ihre Extraktions-, Transformations- und Ladejobs (ETL).
Warum Amazon Athena und AWS Glue verwenden?
Jetzt haben wir es abgedeckt die Grundlagen von Amazon Athena, AWS Glue und AWS Glue Crawler, lassen Sie uns etwas ausführlicher darüber sprechen.
4 Hauptanwendungsfälle von Amazon Athena
Amazon Athena bietet eine vereinfachte, flexible Möglichkeit zur Analyse Petabytes an Daten direkt dort, wo sie leben. Athena kann zum Beispiel analysieren Daten oder erstellen Sie Anwendungen aus einem Amazon Simple Storage Service (S3) Data Lake und 30 Datenquellen, einschließlich lokaler Datenquellen oder andere Cloud-Systeme mit SQL oder Python.
Es gibt vier Hauptanwendungsfälle für Amazon Athena:
Abfragen auf S3, lokalen Rechenzentren oder anderen Clouds ausführen
Bereiten Sie Daten für Modelle für maschinelles Lernen vor
Verwenden Sie Modelle für maschinelles Lernen in SQL-Abfragen oder Python, um Vereinfachen Sie komplexe Aufgaben wie Anomalieerkennung und Kundenkohorte Analysen und Verkaufsprognosen
Führen Sie Multicloud-Analysen durch (wie das Abfragen von Daten in Azure). Synapse Analytics und anschließende Visualisierung der Ergebnisse mit Amazon QuickSight)
3 wichtige AWS Glue-Anwendungsfälle
Nachdem wir uns nun mit Amazon Athena befasst haben, sprechen wir über AWS Glue. Mit AWS Glue können Sie verschiedene Dinge tun.
Zunächst können Sie AWS Glue-Datenintegrations-Engines verwenden, die Ihnen ermöglichen um Daten aus verschiedenen Quellen zu erhalten. Dazu gehören Amazon S3, Amazon DynamoDB und Amazon RDS sowie Datenbanken, die auf Amazon laufen EC2 (integriert in AWS Glue Studio) und AWS Glue für Ray, Python Shell und Apache Spark.
Sobald die Daten verknüpft und gefiltert sind, können sie mit ihnen interagieren Wenn Sie Orte zum Laden oder Erstellen von Daten angeben, wird diese Liste um die Daten erweitert Orte wie Amazon Redshift, Data Lakes und Data Warehouses.
Sie können auch AWS Glue verwenden, um Ihre ETL-Jobs auszuführen. Diese Jobs ermöglichen es Ihnen um Kundendaten zu trennen, Kundendaten während der Übertragung zu schützen und zu schützen Ruhen Sie sich aus und greifen Sie nur dann auf Kundendaten zu, wenn dies als Reaktion auf den Kunden erforderlich ist Anfragen. Wenn Sie einen ETL-Job bereitstellen, müssen Sie ihn lediglich bereitstellen Eingabedatenquellen und Ausgabedatenziele in Ihrem virtuellen Privatbereich Cloud.
Die letzte Möglichkeit, AWS Glue zu nutzen, ist über einen Datenkatalog Entdecken und durchsuchen Sie schnell mehrere AWS-Datensätze, ohne diese zu verschieben Daten. Sobald die Daten katalogisiert sind, stehen sie sofort für die Suche zur Verfügung und Abfragen mit Amazon Athena, Amazon EMR und Amazon Redshift Spektren.
Erste Schritte mit AWS Glue: So übertragen Sie Daten von AWS Glue zu Amazon Athena
Wie können Sie also Daten von AWS Glue in Amazon Athena übertragen? Befolgen Sie diese Schritte:
Beginnen Sie mit dem Hochladen von Daten in eine Datenquelle. Am beliebtesten Option ist ein S3-Bucket, aber auch DynamoDB-Tabellen und Amazon RedShift Optionen.
Wählen Sie Ihre Datenquelle aus und erstellen Sie ggf. einen Klassifikator notwendig. Ein Klassifikator liest die Daten und generiert ggf. ein Schema erkennt das Format. Sie können zur Anzeige benutzerdefinierte Klassifikatoren erstellen verschiedene Datentypen.
Erstellen Sie einen Crawler.
Richten Sie einen Namen für den Crawler ein und wählen Sie dann Ihre Datenquellen aus und fügen Sie alle benutzerdefinierten Klassifikatoren hinzu, um sicherzustellen, dass AWS Glue die erkennt Daten korrekt.
Richten Sie eine Identity and Access Management (IAM)-Rolle ein, um sicherzustellen, dass der Crawler die Prozesse korrekt ausführen kann.
Erstellen eine Datenbank, die den Datensatz enthält. Legen Sie fest, wann und wie oft der Crawler arbeitet, um Ihre Daten aktuell und aktuell zu halten.
Führen Sie den Crawler aus. Dieser Vorgang kann je nach Situation eine Weile dauern wie groß der Datensatz ist. Sobald der Crawler erfolgreich ausgeführt wurde, werden Sie es tun Sehen Sie sich Änderungen an Tabellen in der Datenbank an.
Nachdem Sie diesen Vorgang abgeschlossen haben, können Sie zu Amazon wechseln Athena und führen Sie die Abfragen aus, die Sie benötigen, um die Daten zu filtern und abzurufen Ergebnisse, die Sie suchen.
Das obige ist der detaillierte Inhalt vonSo verwenden Sie AWS Glue-Crawler mit Amazon Athena. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
1670
14
1428
52
1329
25
1276
29
1256
24
Was ist der Unterschied zwischen HQL und SQL im Hibernate-Framework?
Apr 17, 2024 pm 02:57 PM
HQL und SQL werden im Hibernate-Framework verglichen: HQL (1. Objektorientierte Syntax, 2. Datenbankunabhängige Abfragen, 3. Typsicherheit), während SQL die Datenbank direkt betreibt (1. Datenbankunabhängige Standards, 2. Komplexe ausführbare Datei). Abfragen und Datenmanipulation).
Verwendung der Divisionsoperation in Oracle SQL
Mar 10, 2024 pm 03:06 PM
„Verwendung der Divisionsoperation in OracleSQL“ In OracleSQL ist die Divisionsoperation eine der häufigsten mathematischen Operationen. Während der Datenabfrage und -verarbeitung können uns Divisionsoperationen dabei helfen, das Verhältnis zwischen Feldern zu berechnen oder die logische Beziehung zwischen bestimmten Werten abzuleiten. In diesem Artikel wird die Verwendung der Divisionsoperation in OracleSQL vorgestellt und spezifische Codebeispiele bereitgestellt. 1. Zwei Arten von Divisionsoperationen in OracleSQL In OracleSQL können Divisionsoperationen auf zwei verschiedene Arten durchgeführt werden.
Vergleich und Unterschiede der SQL-Syntax zwischen Oracle und DB2
Mar 11, 2024 pm 12:09 PM
Oracle und DB2 sind zwei häufig verwendete relationale Datenbankverwaltungssysteme, die jeweils über ihre eigene, einzigartige SQL-Syntax und -Eigenschaften verfügen. In diesem Artikel werden die SQL-Syntax von Oracle und DB2 verglichen und unterschieden und spezifische Codebeispiele bereitgestellt. Datenbankverbindung Verwenden Sie in Oracle die folgende Anweisung, um eine Verbindung zur Datenbank herzustellen: CONNECTusername/password@database. In DB2 lautet die Anweisung zum Herstellen einer Verbindung zur Datenbank wie folgt: CONNECTTOdataba
Ausführliche Erläuterung der Funktion „Tag festlegen' in den dynamischen SQL-Tags von MyBatis
Feb 26, 2024 pm 07:48 PM
Interpretation der dynamischen SQL-Tags von MyBatis: Detaillierte Erläuterung der Verwendung von Set-Tags. MyBatis ist ein hervorragendes Persistenzschicht-Framework. Es bietet eine Fülle dynamischer SQL-Tags und kann Datenbankoperationsanweisungen flexibel erstellen. Unter anderem wird das Set-Tag zum Generieren der SET-Klausel in der UPDATE-Anweisung verwendet, die sehr häufig bei Aktualisierungsvorgängen verwendet wird. In diesem Artikel wird die Verwendung des Set-Tags in MyBatis ausführlich erläutert und seine Funktionalität anhand spezifischer Codebeispiele demonstriert. Was ist Set-Tag? Set-Tag wird in MyBati verwendet
Was bedeutet das Identitätsattribut in SQL?
Feb 19, 2024 am 11:24 AM
Was ist Identität in SQL? In SQL ist Identität ein spezieller Datentyp, der zum Generieren automatisch inkrementierender Zahlen verwendet wird. Er wird häufig verwendet, um jede Datenzeile in einer Tabelle eindeutig zu identifizieren. Die Spalte „Identität“ wird oft in Verbindung mit der Primärschlüsselspalte verwendet, um sicherzustellen, dass jeder Datensatz eine eindeutige Kennung hat. In diesem Artikel wird die Verwendung von Identity detailliert beschrieben und es werden einige praktische Codebeispiele aufgeführt. Die grundlegende Möglichkeit, Identity zu verwenden, besteht darin, Identit beim Erstellen einer Tabelle zu verwenden.
So beheben Sie den 5120-Fehler in SQL
Mar 06, 2024 pm 04:33 PM
Lösung: 1. Überprüfen Sie, ob der angemeldete Benutzer über ausreichende Berechtigungen zum Zugriff auf oder zum Betrieb der Datenbank verfügt, und stellen Sie sicher, dass der Benutzer über die richtigen Berechtigungen verfügt. 2. Überprüfen Sie, ob das Konto des SQL Server-Dienstes über die Berechtigung zum Zugriff auf die angegebene Datei verfügt Ordner und stellen Sie sicher, dass das Konto über ausreichende Berechtigungen zum Lesen und Schreiben der Datei oder des Ordners verfügt. 3. Überprüfen Sie, ob die angegebene Datenbankdatei von anderen Prozessen geöffnet oder gesperrt wurde. Versuchen Sie, die Datei zu schließen oder freizugeben, und führen Sie die Abfrage erneut aus . Versuchen Sie es als Administrator. Führen Sie Management Studio aus als usw.
Wie verwende ich SQL-Anweisungen zur Datenaggregation und Statistik in MySQL?
Dec 17, 2023 am 08:41 AM
Wie verwende ich SQL-Anweisungen zur Datenaggregation und Statistik in MySQL? Datenaggregation und Statistiken sind sehr wichtige Schritte bei der Durchführung von Datenanalysen und Statistiken. Als leistungsstarkes relationales Datenbankverwaltungssystem bietet MySQL eine Fülle von Aggregations- und Statistikfunktionen, mit denen Datenaggregation und statistische Operationen problemlos durchgeführt werden können. In diesem Artikel wird die Methode zur Verwendung von SQL-Anweisungen zur Durchführung von Datenaggregation und Statistiken in MySQL vorgestellt und spezifische Codebeispiele bereitgestellt. 1. Verwenden Sie zum Zählen die COUNT-Funktion. Die COUNT-Funktion wird am häufigsten verwendet
So verwenden Sie „months_between' in SQL
Jan 25, 2024 pm 03:23 PM
MONTHS_BETWEEN ist in SQL eine häufig verwendete Funktion zur Berechnung der Monatsdifferenz zwischen zwei Daten. Wie es verwendet wird, hängt vom jeweiligen Datenbankverwaltungssystem ab.
