首页 数据库 mysql教程 Hive和HBase整合,查询异常

Hive和HBase整合,查询异常

Jun 07, 2016 pm 05:26 PM
hbase hive

Hive和HBase整合,查询异常,再次执行Hive的统计命令,可能还会有异常,因为我的MapReduce前面使用过,在Hadoop中已经 加入过pro

版本说明
 
Hadoop 1.0.3
HBase 0.94.1
Hive 0.9.0

执行操作

hive> select count(*) from tablename;

异常提示
 
Exception in thread "Thread-54" java.lang.RuntimeException: Error while reading from task log url
 
        at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProcessor.java:240)
 
        at org.apache.hadoop.hive.ql.exec.JobDebugger.showJobFailDebugInfo(JobDebugger.java:227)
 
        at org.apache.hadoop.hive.ql.exec.JobDebugger.run(JobDebugger.java:92)
 
        at java.lang.Thread.run(Thread.java:662)
 
Caused by: java.io.IOException: Server returned HTTP response code: 400 for URL:    :50060/tasklog?taskid=attempt_201212192008_0014_m_000000_3&start=-8193
 
        at sun.net.(HttpURLConnection.java:1436)
 
        at java.net.URL.openStream(URL.java:1010)
 
        at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProcessor.java:192)
 
        ... 3 more

解决步骤
 
1.异常中的路径(根据自己的异常URL地址)
 
:50060/tasklog?taskid=attempt_201212192008_0014_m_000000_3&start=-8193
 
修改为:
 
:50060/tasklog?attemptid=attempt_201212192008_0014_m_000000_3&start=-8193
 
进行访问
 
2.页面中有异常具体记录,我这点的异常提示是:
 
  java.lang.NoClassDefFoundError: com/google/protobuf/Message
 
  明显是缺少某个jar,这个jar可以在HBase的jar中找到protobuf-java-2.4.0a.jar
 
3.将jar放入Hive的lib目录下,修改配置文件conf/hive-site.xml
 
 (如果前面整合过Hadoop,HBase,Hive的就知道,这里是加载Hive默认没有加载的jar)
 

 
 
    hive.aux.jars.path
 
    file:///usr/java/hive-0.9.0/lib/protobuf-java-2.4.0a.jar
 
 

 
 4.再次执行Hive的统计命令,可能还会有异常,因为我的MapReduce前面使用过,,在Hadoop中已经    加入过protobuf-java-2.4.0a.jar这个jar,如果以前你没有在Hadoop的lib下加入这个jar可能也    会有异常,如果出现异常依然可以根据第一步骤的方法来查看具体的异常。
 
  5.特别提示:如果Hadoop以前没有加入这个jar,请将集群所有的机器都加入这个jar,并重启        Hadoop或者单独重启MapReduce,重启MapReduce命令如下:
 
    stop-mapred.sh
 
    start-mapred.sh

linux

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
4 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

在Beego中使用Hadoop和HBase进行大数据存储和查询 在Beego中使用Hadoop和HBase进行大数据存储和查询 Jun 22, 2023 am 10:21 AM

随着大数据时代的到来,数据处理和存储变得越来越重要,如何高效地管理和分析大量的数据也成为企业面临的挑战。Hadoop和HBase作为Apache基金会的两个项目,为大数据存储和分析提供了一种解决方案。本文将介绍如何在Beego中使用Hadoop和HBase进行大数据存储和查询。一、Hadoop和HBase简介Hadoop是一个开源的分布式存储和计算系统,它可

在Go语言中使用Hive实现高效的数据仓库 在Go语言中使用Hive实现高效的数据仓库 Jun 15, 2023 pm 08:52 PM

近年来,数据仓库成为了企业数据管理中不可或缺的一部分。直接使用数据库进行数据分析可以满足简单的查询需求,但当我们需要进行大规模数据分析时,单个数据库已经无法满足需求,这时我们需要使用数据仓库来处理海量数据。而Hive则是数据仓库领域中最流行的开源组件之一,它可以将Hadoop分布式计算引擎和SQL查询集成在一起,并支持海量数据的并行处理。同时,在Go语言中使

PHP入门指南:PHP和Hive PHP入门指南:PHP和Hive May 20, 2023 am 08:33 AM

PHP是一种广泛使用的服务器端编程语言,它的使用范围覆盖了几乎所有行业。在本篇文章中,我们将探讨PHP对于大数据处理的特殊作用。在特定环境下,PHP可以与ApacheHive协作,从而实现实时数据处理和分析。先来介绍一下Hive。Hive是一个基于Hadoop的数据仓库解决方案。它可以将结构化数据映射成SQL查询,并以MapReduce任务的方式执行查询。

PHP实现开源Hive大数据分析平台 PHP实现开源Hive大数据分析平台 Jun 18, 2023 pm 02:47 PM

随着数据处理越来越重要,大数据分析也变得越来越普遍。然而,许多公司可能不想花费大量资金在商业分析平台上。开源解决方案为这些公司提供了一种可行的选择。在这个文章中,我们将讨论如何使用PHP实现开源Hive大数据分析平台。Hive是一个基于Hadoop的数据仓库系统,可以通过SQL查询和管理Hadoop上的大规模数据集。它使用类似于SQL的HiveQL语言来查询

Microsoft 发布针对 Windows Defender 中的 Behavior:Win32/Hive.ZY 错误的修复程序 Microsoft 发布针对 Windows Defender 中的 Behavior:Win32/Hive.ZY 错误的修复程序 Apr 28, 2023 pm 04:01 PM

一位微软官员证实了有关谷歌Chrome、ChromiumEdge、Discord和其他几个应用程序被微软内置防病毒软件“WindowsDefender”标记为“ Behavior:Win32/Hive.ZY”的广泛报道。这家科技巨头在一份声明中证实,它正在研究一个修复程序,该修复程序将在接下来的几个小时内向所有人推出。那么“Behavior:Win32/Hive.ZY”到底是什么?根据微软安全门户上发布的一份文件,任何标记为“Behavior:Win32/Hive.ZY”的文件都是带有

Microsoft Exchange Server 受到 Hive 的“windows.exe”勒索软件的攻击 Microsoft Exchange Server 受到 Hive 的“windows.exe”勒索软件的攻击 Apr 16, 2023 pm 01:28 PM

尽管保持软件更新和仅从受信任的来源下载文件是标准的网络安全实践,但鉴于最近恶意软件攻击的增加,很明显在这方面需要更多的教育。为此,Varonis 取证团队就使用 Hive 勒索软件的攻击者如何在其最新系列攻击中针对 Microsoft Exchange Server 提供了一些指导。对于那些不知道的人,Hive 遵循勒索软件即服务模型。尽管微软在 2021 年针对已知漏洞对 E

如何修复 Windows Defender 行为:Win32/Hive.ZY 警报 如何修复 Windows Defender 行为:Win32/Hive.ZY 警报 May 06, 2023 am 08:04 AM

许多Windows11和10用户看到来自WindowsDefender的警告通知表示检测到威胁“行为:Win32/Hive.ZY”而感到困扰。据报道,当用户尝试打开一些常用应用程序(如GoogleChrome或ChromiumEdge、Whatsapp、Discord和Spotify)时,会引发此WindowsDefender警告或警报。即使您在PC上阻止了此威胁,它也会在您下次打开此受影响的应用程序时弹出并显示一条消息MicrosoftDefenderAntivi

Centos7安装配置Hive教程。 Centos7安装配置Hive教程。 Feb 19, 2024 pm 02:21 PM

当在CentOS7上安装和配置Hive时,可以按照以下步骤进行操作:确保已安装Java:首先,确保在CentOS7上已经安装了Java。可以使用以下命令检查Java是否已安装:java-version如果没有安装Java,请根据你的需要安装合适的Java版本。下载Hive:访问ApacheHive的官方网站(),下载最新的稳定版本的Hive。解压Hive压缩包:使用以下命令解压Hive压缩包:tarxvfzhive-x.x.x.tar.gz这将解压缩Hive到当前目录下。配置环境变量:打开终端,

See all articles