ホームページ データベース mysql チュートリアル sqoop client java api将mysql的数据导到hdfs

sqoop client java api将mysql的数据导到hdfs

May 28, 2018 pm 02:45 PM

       mysqlsqoophdfshadoop

 package com.hadoop.recommend;
 import org.apache.sqoop.client.SqoopClient;import org.apache.sqoop.model.MDriverConfig;
 import org.apache.sqoop.model.MFromConfig;import org.apache.sqoop.model.MJob;
 import org.apache.sqoop.model.MLink;
 import org.apache.sqoop.model.MLinkConfig;
 import org.apache.sqoop.model.MSubmission;
 import org.apache.sqoop.model.MToConfig;
 import org.apache.sqoop.submission.counter.Counter;
 import org.apache.sqoop.submission.counter.CounterGroup;
 import org.apache.sqoop.submission.counter.Counters;
 import org.apache.sqoop.validation.Status;
 public class MysqlToHDFS {    
 public static void main(String[] args) {        
 sqoopTransfer();    
 }    
 public static void sqoopTransfer() {        
 //初始化        
 String url = "http://master:12000/sqoop/";        
 SqoopClient client = new SqoopClient(url);        
 //创建一个源链接 JDBC        
 long fromConnectorId = 2;         
 MLink fromLink = client.createLink(fromConnectorId);        
 fromLink.setName("JDBC connector");        
 fromLink.setCreationUser("hadoop");        
 MLinkConfig fromLinkConfig = fromLink.getConnectorLinkConfig();        
 fromLinkConfig.getStringInput("linkConfig.connectionString").setValue("jdbc:mysql://master:3306/hive");        
 fromLinkConfig.getStringInput("linkConfig.jdbcDriver").setValue("com.mysql.jdbc.Driver");        
 fromLinkConfig.getStringInput("linkConfig.username").setValue("root");        
 fromLinkConfig.getStringInput("linkConfig.password").setValue("");        
 Status fromStatus = client.saveLink(fromLink);        
 if(fromStatus.canProceed()) {         
 System.out.println("创建JDBC Link成功,ID为: " + fromLink.getPersistenceId());        
 } else {         
 System.out.println("创建JDBC Link失败");        
 }        
 //创建一个目的地链接HDFS        
 long toConnectorId = 1;        
 MLink toLink = client.createLink(toConnectorId);        
 toLink.setName("HDFS connector");        
 toLink.setCreationUser("hadoop");        
 MLinkConfig toLinkConfig = toLink.getConnectorLinkConfig();        
 toLinkConfig.getStringInput("linkConfig.uri").setValue("hdfs://master:9000/");        
 Status toStatus = client.saveLink(toLink);        
 if(toStatus.canProceed()) {         
 System.out.println("创建HDFS Link成功,ID为: " + toLink.getPersistenceId());        
 } else {         
 System.out.println("创建HDFS Link失败");        
 }        
 //创建一个任务        
 long fromLinkId = fromLink.getPersistenceId();        
 long toLinkId = toLink.getPersistenceId();        
 MJob job = client.createJob(fromLinkId, toLinkId);        
 job.setName("MySQL to HDFS job");        
 job.setCreationUser("hadoop");        
 //设置源链接任务配置信息        
 MFromConfig fromJobConfig = job.getFromJobConfig();        
 fromJobConfig.getStringInput("fromJobConfig.schemaName").setValue("sqoop");        
 fromJobConfig.getStringInput("fromJobConfig.tableName").setValue("sqoop");        
 fromJobConfig.getStringInput("fromJobConfig.partitionColumn").setValue("id");        
 MToConfig toJobConfig = job.getToJobConfig();        
 toJobConfig.getStringInput("toJobConfig.outputDirectory").setValue("/user/hdfs/recommend");        
 MDriverConfig driverConfig = job.getDriverConfig();        
 driverConfig.getStringInput("throttlingConfig.numExtractors").setValue("3");        
 Status status = client.saveJob(job);        
 if(status.canProceed()) {         
 System.out.println("JOB创建成功,ID为: "+ job.getPersistenceId());        
 } else {         
 System.out.println("JOB创建失败。");        
 }        
 //启动任务        
 long jobId = job.getPersistenceId();        
 MSubmission submission = client.startJob(jobId);        
 System.out.println("JOB提交状态为 : " + submission.getStatus());        
 while(submission.getStatus().isRunning() && submission.getProgress() != -1) {          
 System.out.println("进度 : " + String.format("%.2f %%", submission.getProgress() * 100));          
 //三秒报告一次进度          
 try {            
 Thread.sleep(3000);          
 } catch (InterruptedException e) {            
 e.printStackTrace();          
 }        
 }        
 System.out.println("JOB执行结束... ...");        
 System.out.println("Hadoop任务ID为 :" + submission.getExternalId());        
 Counters counters = submission.getCounters();        
 if(counters != null) {          
 System.out.println("计数器:");          
 for(CounterGroup group : counters) {            
 System.out.print("\t");            
 System.out.println(group.getName());            
 for(Counter counter : group) {              
 System.out.print("\t\t");              
 System.out.print(counter.getName());              
 System.out.print(": ");              
 System.out.println(counter.getValue());            
 }          
 }        
 }        
 if(submission.getExceptionInfo() != null) {          
 System.out.println("JOB执行异常,异常信息为 : " +submission.getExceptionInfo());        
 }        
 System.out.println("MySQL通过sqoop传输数据到HDFS统计执行完毕");    
 }
 }
ログイン後にコピー

报了这个错失咋回事??
图片说明

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DockerでのMySQLメモリの使用を減らします DockerでのMySQLメモリの使用を減らします Mar 04, 2025 pm 03:52 PM

この記事では、DockerのMySQLメモリ使用量を最適化することを調査します。 監視手法(Docker統計、パフォーマンススキーマ、外部ツール)および構成戦略について説明します。 これらには、Dockerメモリの制限、スワッピング、およびcgroupsが含まれます

mysqlの問題を解決する方法共有ライブラリを開くことができません mysqlの問題を解決する方法共有ライブラリを開くことができません Mar 04, 2025 pm 04:01 PM

この記事では、MySQLの「共有ライブラリを開くことができない」エラーについて説明します。 この問題は、必要な共有ライブラリ(.so/.dllファイル)を見つけることができないMySQLの障害に起因しています。ソリューションには、システムのパッケージMを介してライブラリのインストールを確認することが含まれます。

Alter Tableステートメントを使用してMySQLのテーブルをどのように変更しますか? Alter Tableステートメントを使用してMySQLのテーブルをどのように変更しますか? Mar 19, 2025 pm 03:51 PM

この記事では、MySQLのAlter Tableステートメントを使用して、列の追加/ドロップ、テーブル/列の名前の変更、列データ型の変更など、テーブルを変更することについて説明します。

Linuxでmysqlを実行します(phpmyAdminを使用してポッドマンコンテナを使用して/なし) Linuxでmysqlを実行します(phpmyAdminを使用してポッドマンコンテナを使用して/なし) Mar 04, 2025 pm 03:54 PM

この記事では、PHPMyAdminの有無にかかわらず、LinuxにMySQLを直接インストールするのとPodmanコンテナを使用します。 それは、各方法のインストール手順を詳述し、孤立、携帯性、再現性におけるポッドマンの利点を強調しますが、

sqliteとは何ですか?包括的な概要 sqliteとは何ですか?包括的な概要 Mar 04, 2025 pm 03:55 PM

この記事では、自己完結型のサーバーレスリレーショナルデータベースであるSQLiteの包括的な概要を説明します。 SQLiteの利点(シンプルさ、移植性、使いやすさ)と短所(同時性の制限、スケーラビリティの課題)を詳しく説明しています。 c

MACOSで複数のMySQLバージョンを実行する:ステップバイステップガイド MACOSで複数のMySQLバージョンを実行する:ステップバイステップガイド Mar 04, 2025 pm 03:49 PM

このガイドは、HomeBrewを使用してMacOSに複数のMySQLバージョンをインストールおよび管理することを示しています。 Homebrewを使用して設置を分離し、紛争を防ぐことを強調しています。 この記事では、インストール、開始/停止サービス、および最高のPRAを詳述しています

MySQL接続用のSSL/TLS暗号化を構成するにはどうすればよいですか? MySQL接続用のSSL/TLS暗号化を構成するにはどうすればよいですか? Mar 18, 2025 pm 12:01 PM

記事では、証明書の生成と検証を含むMySQL用のSSL/TLS暗号化の構成について説明します。主な問題は、セルフ署名証明書のセキュリティへの影響を使用することです。[文字カウント:159]

人気のあるMySQL GUIツール(MySQL Workbench、PhpMyAdminなど)は何ですか? 人気のあるMySQL GUIツール(MySQL Workbench、PhpMyAdminなど)は何ですか? Mar 21, 2025 pm 06:28 PM

記事では、MySQLワークベンチやPHPMyAdminなどの人気のあるMySQL GUIツールについて説明し、初心者と上級ユーザーの機能と適合性を比較します。[159文字]

See all articles