Rumah pangkalan data tutorial mysql sqoop client java api将mysql的数据导到hdfs

sqoop client java api将mysql的数据导到hdfs

May 28, 2018 pm 02:45 PM

       mysqlsqoophdfshadoop

 package com.hadoop.recommend;
 import org.apache.sqoop.client.SqoopClient;import org.apache.sqoop.model.MDriverConfig;
 import org.apache.sqoop.model.MFromConfig;import org.apache.sqoop.model.MJob;
 import org.apache.sqoop.model.MLink;
 import org.apache.sqoop.model.MLinkConfig;
 import org.apache.sqoop.model.MSubmission;
 import org.apache.sqoop.model.MToConfig;
 import org.apache.sqoop.submission.counter.Counter;
 import org.apache.sqoop.submission.counter.CounterGroup;
 import org.apache.sqoop.submission.counter.Counters;
 import org.apache.sqoop.validation.Status;
 public class MysqlToHDFS {    
 public static void main(String[] args) {        
 sqoopTransfer();    
 }    
 public static void sqoopTransfer() {        
 //初始化        
 String url = "http://master:12000/sqoop/";        
 SqoopClient client = new SqoopClient(url);        
 //创建一个源链接 JDBC        
 long fromConnectorId = 2;         
 MLink fromLink = client.createLink(fromConnectorId);        
 fromLink.setName("JDBC connector");        
 fromLink.setCreationUser("hadoop");        
 MLinkConfig fromLinkConfig = fromLink.getConnectorLinkConfig();        
 fromLinkConfig.getStringInput("linkConfig.connectionString").setValue("jdbc:mysql://master:3306/hive");        
 fromLinkConfig.getStringInput("linkConfig.jdbcDriver").setValue("com.mysql.jdbc.Driver");        
 fromLinkConfig.getStringInput("linkConfig.username").setValue("root");        
 fromLinkConfig.getStringInput("linkConfig.password").setValue("");        
 Status fromStatus = client.saveLink(fromLink);        
 if(fromStatus.canProceed()) {         
 System.out.println("创建JDBC Link成功,ID为: " + fromLink.getPersistenceId());        
 } else {         
 System.out.println("创建JDBC Link失败");        
 }        
 //创建一个目的地链接HDFS        
 long toConnectorId = 1;        
 MLink toLink = client.createLink(toConnectorId);        
 toLink.setName("HDFS connector");        
 toLink.setCreationUser("hadoop");        
 MLinkConfig toLinkConfig = toLink.getConnectorLinkConfig();        
 toLinkConfig.getStringInput("linkConfig.uri").setValue("hdfs://master:9000/");        
 Status toStatus = client.saveLink(toLink);        
 if(toStatus.canProceed()) {         
 System.out.println("创建HDFS Link成功,ID为: " + toLink.getPersistenceId());        
 } else {         
 System.out.println("创建HDFS Link失败");        
 }        
 //创建一个任务        
 long fromLinkId = fromLink.getPersistenceId();        
 long toLinkId = toLink.getPersistenceId();        
 MJob job = client.createJob(fromLinkId, toLinkId);        
 job.setName("MySQL to HDFS job");        
 job.setCreationUser("hadoop");        
 //设置源链接任务配置信息        
 MFromConfig fromJobConfig = job.getFromJobConfig();        
 fromJobConfig.getStringInput("fromJobConfig.schemaName").setValue("sqoop");        
 fromJobConfig.getStringInput("fromJobConfig.tableName").setValue("sqoop");        
 fromJobConfig.getStringInput("fromJobConfig.partitionColumn").setValue("id");        
 MToConfig toJobConfig = job.getToJobConfig();        
 toJobConfig.getStringInput("toJobConfig.outputDirectory").setValue("/user/hdfs/recommend");        
 MDriverConfig driverConfig = job.getDriverConfig();        
 driverConfig.getStringInput("throttlingConfig.numExtractors").setValue("3");        
 Status status = client.saveJob(job);        
 if(status.canProceed()) {         
 System.out.println("JOB创建成功,ID为: "+ job.getPersistenceId());        
 } else {         
 System.out.println("JOB创建失败。");        
 }        
 //启动任务        
 long jobId = job.getPersistenceId();        
 MSubmission submission = client.startJob(jobId);        
 System.out.println("JOB提交状态为 : " + submission.getStatus());        
 while(submission.getStatus().isRunning() && submission.getProgress() != -1) {          
 System.out.println("进度 : " + String.format("%.2f %%", submission.getProgress() * 100));          
 //三秒报告一次进度          
 try {            
 Thread.sleep(3000);          
 } catch (InterruptedException e) {            
 e.printStackTrace();          
 }        
 }        
 System.out.println("JOB执行结束... ...");        
 System.out.println("Hadoop任务ID为 :" + submission.getExternalId());        
 Counters counters = submission.getCounters();        
 if(counters != null) {          
 System.out.println("计数器:");          
 for(CounterGroup group : counters) {            
 System.out.print("\t");            
 System.out.println(group.getName());            
 for(Counter counter : group) {              
 System.out.print("\t\t");              
 System.out.print(counter.getName());              
 System.out.print(": ");              
 System.out.println(counter.getValue());            
 }          
 }        
 }        
 if(submission.getExceptionInfo() != null) {          
 System.out.println("JOB执行异常,异常信息为 : " +submission.getExceptionInfo());        
 }        
 System.out.println("MySQL通过sqoop传输数据到HDFS统计执行完毕");    
 }
 }
Salin selepas log masuk

报了这个错失咋回事??
图片说明

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Bilakah imbasan jadual penuh lebih cepat daripada menggunakan indeks di MySQL? Bilakah imbasan jadual penuh lebih cepat daripada menggunakan indeks di MySQL? Apr 09, 2025 am 12:05 AM

Pengimbasan jadual penuh mungkin lebih cepat dalam MySQL daripada menggunakan indeks. Kes -kes tertentu termasuk: 1) jumlah data adalah kecil; 2) apabila pertanyaan mengembalikan sejumlah besar data; 3) Apabila lajur indeks tidak selektif; 4) Apabila pertanyaan kompleks. Dengan menganalisis rancangan pertanyaan, mengoptimumkan indeks, mengelakkan lebih banyak indeks dan tetap mengekalkan jadual, anda boleh membuat pilihan terbaik dalam aplikasi praktikal.

Terangkan keupayaan carian teks penuh InnoDB. Terangkan keupayaan carian teks penuh InnoDB. Apr 02, 2025 pm 06:09 PM

Keupayaan carian teks penuh InnoDB sangat kuat, yang dapat meningkatkan kecekapan pertanyaan pangkalan data dan keupayaan untuk memproses sejumlah besar data teks. 1) InnoDB melaksanakan carian teks penuh melalui pengindeksan terbalik, menyokong pertanyaan carian asas dan maju. 2) Gunakan perlawanan dan terhadap kata kunci untuk mencari, menyokong mod boolean dan carian frasa. 3) Kaedah pengoptimuman termasuk menggunakan teknologi segmentasi perkataan, membina semula indeks dan menyesuaikan saiz cache untuk meningkatkan prestasi dan ketepatan.

Bolehkah saya memasang mysql pada windows 7 Bolehkah saya memasang mysql pada windows 7 Apr 08, 2025 pm 03:21 PM

Ya, MySQL boleh dipasang pada Windows 7, dan walaupun Microsoft telah berhenti menyokong Windows 7, MySQL masih serasi dengannya. Walau bagaimanapun, perkara berikut harus diperhatikan semasa proses pemasangan: Muat turun pemasang MySQL untuk Windows. Pilih versi MySQL yang sesuai (komuniti atau perusahaan). Pilih direktori pemasangan yang sesuai dan set aksara semasa proses pemasangan. Tetapkan kata laluan pengguna root dan simpan dengan betul. Sambung ke pangkalan data untuk ujian. Perhatikan isu keserasian dan keselamatan pada Windows 7, dan disyorkan untuk menaik taraf ke sistem operasi yang disokong.

Perbezaan antara indeks kluster dan indeks bukan clustered (indeks sekunder) di InnoDB. Perbezaan antara indeks kluster dan indeks bukan clustered (indeks sekunder) di InnoDB. Apr 02, 2025 pm 06:25 PM

Perbezaan antara indeks clustered dan indeks bukan cluster adalah: 1. Klustered Index menyimpan baris data dalam struktur indeks, yang sesuai untuk pertanyaan oleh kunci dan julat utama. 2. Indeks Indeks yang tidak berkumpul indeks nilai utama dan penunjuk kepada baris data, dan sesuai untuk pertanyaan lajur utama bukan utama.

Mysql: Konsep mudah untuk pembelajaran mudah Mysql: Konsep mudah untuk pembelajaran mudah Apr 10, 2025 am 09:29 AM

MySQL adalah sistem pengurusan pangkalan data sumber terbuka. 1) Buat Pangkalan Data dan Jadual: Gunakan perintah Createdatabase dan Createtable. 2) Operasi Asas: Masukkan, Kemas kini, Padam dan Pilih. 3) Operasi lanjutan: Sertai, subquery dan pemprosesan transaksi. 4) Kemahiran Debugging: Semak sintaks, jenis data dan keizinan. 5) Cadangan Pengoptimuman: Gunakan indeks, elakkan pilih* dan gunakan transaksi.

Hubungan antara pengguna dan pangkalan data MySQL Hubungan antara pengguna dan pangkalan data MySQL Apr 08, 2025 pm 07:15 PM

Dalam pangkalan data MySQL, hubungan antara pengguna dan pangkalan data ditakrifkan oleh kebenaran dan jadual. Pengguna mempunyai nama pengguna dan kata laluan untuk mengakses pangkalan data. Kebenaran diberikan melalui perintah geran, sementara jadual dibuat oleh perintah membuat jadual. Untuk mewujudkan hubungan antara pengguna dan pangkalan data, anda perlu membuat pangkalan data, membuat pengguna, dan kemudian memberikan kebenaran.

Bolehkah Mysql dan Mariadb wujud bersama Bolehkah Mysql dan Mariadb wujud bersama Apr 08, 2025 pm 02:27 PM

MySQL dan Mariadb boleh wujud bersama, tetapi perlu dikonfigurasikan dengan berhati -hati. Kuncinya adalah untuk memperuntukkan nombor port dan direktori data yang berbeza untuk setiap pangkalan data, dan menyesuaikan parameter seperti peruntukan memori dan saiz cache. Konfigurasi sambungan, konfigurasi aplikasi, dan perbezaan versi juga perlu dipertimbangkan dan perlu diuji dengan teliti dan dirancang untuk mengelakkan perangkap. Menjalankan dua pangkalan data secara serentak boleh menyebabkan masalah prestasi dalam situasi di mana sumber terhad.

Terangkan pelbagai jenis indeks MySQL (B-Tree, Hash, Full-Text, Spatial). Terangkan pelbagai jenis indeks MySQL (B-Tree, Hash, Full-Text, Spatial). Apr 02, 2025 pm 07:05 PM

MySQL menyokong empat jenis indeks: B-Tree, Hash, Full-Text, dan Spatial. 1. B-Tree Index sesuai untuk carian nilai yang sama, pertanyaan dan penyortiran. 2. Indeks hash sesuai untuk carian nilai yang sama, tetapi tidak menyokong pertanyaan dan penyortiran pelbagai. 3. Indeks teks penuh digunakan untuk carian teks penuh dan sesuai untuk memproses sejumlah besar data teks. 4. Indeks spatial digunakan untuk pertanyaan data geospatial dan sesuai untuk aplikasi GIS.

See all articles