Hive和HBase整合,查询异常
Hive和HBase整合,查询异常,再次执行Hive的统计命令,可能还会有异常,因为我的MapReduce前面使用过,在Hadoop中已经 加入过pro
版本说明
Hadoop 1.0.3
HBase 0.94.1
Hive 0.9.0
执行操作
hive> select count(*) from tablename;
异常提示
Exception in thread "Thread-54" java.lang.RuntimeException: Error while reading from task log url
at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProcessor.java:240)
at org.apache.hadoop.hive.ql.exec.JobDebugger.showJobFailDebugInfo(JobDebugger.java:227)
at org.apache.hadoop.hive.ql.exec.JobDebugger.run(JobDebugger.java:92)
at java.lang.Thread.run(Thread.java:662)
Caused by: java.io.IOException: Server returned HTTP response code: 400 for URL: :50060/tasklog?taskid=attempt_201212192008_0014_m_000000_3&start=-8193
at sun.net.(HttpURLConnection.java:1436)
at java.net.URL.openStream(URL.java:1010)
at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProcessor.java:192)
... 3 more
解决步骤
1.异常中的路径(根据自己的异常URL地址)
:50060/tasklog?taskid=attempt_201212192008_0014_m_000000_3&start=-8193
修改为:
:50060/tasklog?attemptid=attempt_201212192008_0014_m_000000_3&start=-8193
进行访问
2.页面中有异常具体记录,我这点的异常提示是:
java.lang.NoClassDefFoundError: com/google/protobuf/Message
明显是缺少某个jar,这个jar可以在HBase的jar中找到protobuf-java-2.4.0a.jar
3.将jar放入Hive的lib目录下,修改配置文件conf/hive-site.xml
(如果前面整合过Hadoop,HBase,Hive的就知道,这里是加载Hive默认没有加载的jar)
4.再次执行Hive的统计命令,可能还会有异常,因为我的MapReduce前面使用过,,在Hadoop中已经 加入过protobuf-java-2.4.0a.jar这个jar,如果以前你没有在Hadoop的lib下加入这个jar可能也 会有异常,如果出现异常依然可以根据第一步骤的方法来查看具体的异常。
5.特别提示:如果Hadoop以前没有加入这个jar,请将集群所有的机器都加入这个jar,并重启 Hadoop或者单独重启MapReduce,重启MapReduce命令如下:
stop-mapred.sh
start-mapred.sh

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Dengan kemunculan era data besar, pemprosesan dan penyimpanan data menjadi semakin penting, dan cara mengurus dan menganalisis sejumlah besar data dengan cekap telah menjadi cabaran bagi perusahaan. Hadoop dan HBase, dua projek Yayasan Apache, menyediakan penyelesaian untuk penyimpanan dan analisis data besar. Artikel ini akan memperkenalkan cara menggunakan Hadoop dan HBase dalam Beego untuk storan dan pertanyaan data besar. 1. Pengenalan kepada Hadoop dan HBase Hadoop ialah sistem storan dan pengkomputeran teragih sumber terbuka yang boleh

Dalam beberapa tahun kebelakangan ini, gudang data telah menjadi bahagian penting dalam pengurusan data perusahaan. Menggunakan pangkalan data secara langsung untuk analisis data boleh memenuhi keperluan pertanyaan mudah, tetapi apabila kita perlu melakukan analisis data berskala besar, pangkalan data tunggal tidak lagi dapat memenuhi keperluan Pada masa ini, kita perlu menggunakan gudang data untuk memproses data besar-besaran . Hive ialah salah satu komponen sumber terbuka yang paling popular dalam medan gudang data Ia boleh menyepadukan enjin pengkomputeran yang diedarkan Hadoop dan pertanyaan SQL dan menyokong pemprosesan data besar-besaran. Pada masa yang sama, dalam bahasa Go, gunakan

PHP ialah bahasa pengaturcaraan bahagian pelayan yang digunakan secara meluas yang digunakan dalam hampir semua industri. Dalam artikel ini, kami akan meneroka peranan khas PHP dalam pemprosesan data besar. Dalam keadaan tertentu, PHP boleh bekerjasama dengan ApacheHive untuk mencapai pemprosesan dan analisis data masa nyata. Mula-mula, mari perkenalkan Hive. Hive ialah penyelesaian gudang data berasaskan Hadoop. Ia boleh memetakan data berstruktur ke dalam pertanyaan SQL dan melaksanakan pertanyaan sebagai tugasan MapReduce.

Apabila pemprosesan data menjadi semakin penting, analisis data besar menjadi semakin biasa. Walau bagaimanapun, banyak syarikat mungkin tidak mahu membelanjakan banyak wang pada platform analitik perniagaan. Penyelesaian sumber terbuka menawarkan syarikat ini pilihan yang berdaya maju. Dalam artikel ini, kami akan membincangkan cara melaksanakan platform analisis data besar Hive sumber terbuka menggunakan PHP. Hive ialah sistem gudang data berasaskan Hadoop yang boleh membuat pertanyaan dan mengurus set data berskala besar pada Hadoop melalui SQL. Ia menggunakan bahasa HiveQL seperti SQL untuk membuat pertanyaan

Walaupun memastikan perisian sentiasa dikemas kini dan hanya memuat turun fail daripada sumber yang dipercayai adalah amalan keselamatan siber standard, memandangkan peningkatan baru-baru ini dalam serangan perisian hasad, jelas bahawa lebih banyak pendidikan diperlukan dalam bidang ini. Untuk itu, pasukan forensik Varonis telah menyediakan beberapa panduan tentang cara penyerang menggunakan perisian tebusan Hive menyasarkan Pelayan Microsoft Exchange dalam siri serangan terbaru mereka. Bagi mereka yang tidak tahu, Hive mengikuti model ransomware-as-a-service. Walaupun Microsoft menyasarkan E pada 2021 untuk kelemahan yang diketahui,

Ketergantungan: org.springframework.dataspring-data-hadoop-hbase2.5.0.RELEASEorg.apache.hbasehbase-client1.1.2org.springframework.dataspring-data-hadoop2.5.0.RELEASE Cara rasmi untuk menambah konfigurasi adalah melalui xml, iaitu mudah Selepas menulis semula, ia adalah seperti berikut: @ConfigurationpublicclassHBaseConfiguration{@Value("${hbase.zooke

Apabila memasang dan mengkonfigurasi Hive pada CentOS7, anda boleh mengikuti langkah berikut: Pastikan Java dipasang: Pertama, pastikan Java dipasang pada CentOS7. Anda boleh menyemak sama ada Java dipasang menggunakan arahan berikut: java-version Jika Java tidak dipasang, sila pasang versi Java yang sesuai mengikut keperluan anda. Muat turun Hive: Lawati tapak web rasmi ApacheHive () dan muat turun versi stabil terkini Hive. Nyahmampat pakej termampat Hive: Gunakan arahan berikut untuk menyahmampat pakej termampat Hive: tarxvfzhive-x.x.x.tar.gz Ini akan menyahmampat Hive ke direktori semasa. Konfigurasikan pembolehubah persekitaran: buka terminal,

Seorang pegawai Microsoft mengesahkan laporan meluas bahawa Google Chrome, ChromiumEdge, Discord dan beberapa aplikasi lain telah dibenderakan sebagai "Behavior:Win32/Hive.ZY" oleh perisian antivirus terbina dalam Microsoft "WindowsDefender". Gergasi teknologi itu mengesahkan dalam satu kenyataan bahawa ia sedang mengusahakan pembetulan yang akan dilancarkan kepada semua orang dalam beberapa jam akan datang. Jadi apakah sebenarnya "Behavior:Win32/Hive.ZY"? Menurut dokumen yang disiarkan pada portal keselamatan Microsoft, mana-mana fail bertanda "Behavior:Win32/Hive.ZY" ialah
