SeaTunnel の課題の克服: 頼りになるソリューションが明らかに-jsチュートリアル-php.cn

Conquering SeaTunnel Challenges: Your Go-To Solutions Revealed

SeaTunnel を使用するには、Spark や Flink などのエンジンをインストールする必要がありますか?

いいえ、SeaTunnel は統合エンジンのオプションとして Zeta、Spark、および Flink をサポートしています。そのうちの 1 つを選択できます。コミュニティでは、統合シナリオ向けに特別に構築された新世代の高性能エンジンである Zeta の使用を特に推奨しています。
コミュニティは、より豊富な機能を備えた Zeta を最大限にサポートしています。

SeaTunnel はどのようなデータソースと宛先をサポートしていますか?

SeaTunnel は、さまざまなデータソースと宛先をサポートしています。詳細なリストは公式ウェブサイトでご覧いただけます:

サポートされているデータソース (ソース): https://seatunnel.apache.org/docs/connector-v2/source
サポートされているデータ宛先 (シンク): https://seatunnel.apache.org/docs/connector-v2/sink

現在 CDC (変更データキャプチャ) をサポートしているデータソースはどれですか?

現在、CDC は MongoDB CDC、MySQL CDC、OpenGauss CDC、Oracle CDC、PostgreSQL CDC、SQL Server CDC、TiDB CDC などでサポートされています。詳細については、ソースドキュメントを参照してください。

MySQL レプリカからの CDC をサポートしていますか?ログはどのように取得されるのでしょうか?

はい、MySQL バイナリログをサブスクライブし、同期サーバー上でバイナリログを解析することでサポートされます。

MySQL CDC 同期にはどのような権限が必要ですか?また、それらを有効にする方法は何ですか?

関連するデータベースとテーブルに対する SELECT 権限が必要です。

認可ステートメントは次のとおりです。

GRANT SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'username'@'host' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;

ログイン後にコピー

/etc/mysql/my.cnf を編集し、次の行を追加します。

[mysqld]
log-bin=/var/log/mysql/mysql-bin.log
expire_logs_days = 7
binlog_format = ROW
binlog_row_image=full

ログイン後にコピー

MySQL サービスを再起動します。

service mysql restart

ログイン後にコピー

SQL Server CDC 同期にはどのような権限が必要ですか?また、それらを有効にする方法は何ですか?

SQL Server CDC をデータソースとして使用するには、SQL Server で MS-CDC 機能を有効にする必要があります。手順は次のとおりです。

SQL Server CDC エージェントが実行されているかどうかを確認します。

EXEC xp_servicecontrol N'querystate', N'SQLServerAGENT';
-- If the result is "running," it means the agent is enabled. Otherwise, it needs to be started manually.

ログイン後にコピー

Linux を使用している場合は、SQL Server CDC エージェントを有効にします。

/opt/mssql/bin/mssql-conf setup
The result that is returned is as follows:
1) Evaluation (free, no production use rights, 180-day limit)
2) Developer (free, no production use rights)
3) Express (free)
4) Web (PAID)
5) Standard (PAID)
6) Enterprise (PAID)
7) Enterprise Core (PAID)
8) I bought a license through a retail sales channel and have a product key to enter.

ログイン後にコピー

状況に応じて適切なオプションを選択してください。
エージェントを含む無料バージョンの場合は、オプション 2 (開発者) を選択します。次のコマンドを実行してエージェントを有効にします:

/opt/mssql/bin/mssql-conf set sqlagent.enabled true

ログイン後にコピー

Windows を使用している場合は、SQL Server エージェントを有効にします (SQL Server 2008 など)。

公式ドキュメントを参照してください。

GRANT SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'username'@'host' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;

ログイン後にコピー

まず、データベースレベルで CDC を有効にします。

[mysqld]
log-bin=/var/log/mysql/mysql-bin.log
expire_logs_days = 7
binlog_format = ROW
binlog_row_image=full

ログイン後にコピー

次に、テーブルレベルで CDC を有効にします。

service mysql restart

ログイン後にコピー

SeaTunnel は主キーのないテーブルの CDC 同期をサポートしていますか?

いいえ、CDC 同期は主キーのないテーブルではサポートされていません。これは、上流に同一の行が 2 つあり、そのうちの 1 つが削除または変更された場合、下流でどの行を削除または変更すべきかを区別することが不可能となり、両方の行が影響を受ける可能性があるためです。

PostgreSQL タスク実行中のエラー: 原因: org.postgresql.util.PSQLException: エラー: すべてのレプリケーションスロットが使用中です

このエラーは、PostgreSQL のレプリケーションスロットがいっぱいで解放する必要がある場合に発生します。 postgresql.conf ファイルを変更して max_wal_senders と max_replication_slots を増やし、次のコマンドを使用して PostgreSQL サービスを再起動します。

EXEC xp_servicecontrol N'querystate', N'SQLServerAGENT';
-- If the result is "running," it means the agent is enabled. Otherwise, it needs to be started manually.

ログイン後にコピー

構成例:

/opt/mssql/bin/mssql-conf setup
The result that is returned is as follows:
1) Evaluation (free, no production use rights, 180-day limit)
2) Developer (free, no production use rights)
3) Express (free)
4) Web (PAID)
5) Standard (PAID)
6) Enterprise (PAID)
7) Enterprise Core (PAID)
8) I bought a license through a retail sales channel and have a product key to enter.

ログイン後にコピー

自分だけでは解決できない問題がある場合はどうすればよいですか?

SeaTunnel の使用中に解決できない問題が発生した場合は、次のことができます。

問題リストまたはメーリングリストを検索して、他の人が同じ質問をして回答を得ていないかどうかを確認します。
答えが見つからない場合は、次の方法を使用してコミュニティに支援を求めてください。

変数を宣言するにはどうすればよいですか?

SeaTunnel 構成で変数を宣言し、実行時にその値を動的に置き換える方法を知りたいですか?この機能は、スケジュールされたオフライン処理とスケジュールされていないオフライン処理の両方で、時刻や日付などの変数のプレースホルダーとしてよく使用されます。その方法は次のとおりです:
設定内で変数名を宣言します。以下は SQL 変換の例です (実際、key = value 形式の任意の値で変数置換を使用できます):

/opt/mssql/bin/mssql-conf set sqlagent.enabled true

ログイン後にコピー

SeaTunnel を Zeta Local モードで実行するには、次のコマンドを使用します:

Open "SQL Server Configuration Manager" from the Start menu, navigate to "SQL Server Services," right-click the "SQL Server Agent" instance, and start it.

ログイン後にコピー

-i または --variable パラメーターの後に key=value を使用して変数の値を指定し、キーが構成内の変数名と一致することを確認します。詳細については、https://seatunnel.apache.org/docs/concept/config

を参照してください。

構成ファイルに複数行のテキスト構成を記述するにはどうすればよいですか?

長いテキストを複数行に分割するには、開始と終了を示すために三重二重引用符を使用します。

USE TestDB; -- Replace with your actual database name
EXEC sys.sp_cdc_enable_db;

-- Check if the database has CDC enabled
SELECT name, is_cdc_enabled
FROM sys.databases
WHERE name = 'database'; -- Replace with the name of your database

ログイン後にコピー

複数行のテキストで変数置換を実行するにはどうすればよいですか?

変数は三重二重引用符で囲むことができないため、複数行のテキストでの変数置換は注意が必要です。

USE TestDB; -- Replace with your actual database name
EXEC sys.sp_cdc_enable_table
@source_schema = 'dbo',
@source_name = 'table', -- Replace with the table name
@role_name = NULL,
@capture_instance = 'table'; -- Replace with a unique capture instance name

-- Check if the table has CDC enabled
SELECT name, is_tracked_by_cdc
FROM sys.tables
WHERE name = 'table'; -- Replace with the table name

ログイン後にコピー

詳細については、問題を参照してください: lightbend/config#456.

SeaTunnel E2E テストのログパラメータを設定するにはどうすればよいですか?

seatunnel-e2e log4j 構成ファイルは、seatunnel-e2e/seatunnel-e2e-common/src/test/resources/log4j2.properties にあります。構成ファイルでログパラメータを直接変更できます。

たとえば、より詳細な E2E テストログを取得するには、構成ファイルの rootLogger.level をダウングレードするだけです。

SeaTunnel のソースコードを勉強したい場合はどこから始めればよいですか?

SeaTunnel は、適切に抽象化され構造化されたアーキテクチャ設計とコード実装を備えているため、ビッグデータアーキテクチャを学習するのに最適です。 Seatunnel-examples モジュール SeaTunnelEngineLocalExample.java からソースコードの探索とデバッグを開始できます。詳細については、https://seatunnel.apache.org/docs/contribution/setup

を参照してください。