Heim Datenbank MySQL-Tutorial Hive和HBase整合,查询异常

Hive和HBase整合,查询异常

Jun 07, 2016 pm 05:26 PM
hbase hive

Hive和HBase整合,查询异常,再次执行Hive的统计命令,可能还会有异常,因为我的MapReduce前面使用过,在Hadoop中已经 加入过pro

版本说明
 
Hadoop 1.0.3
HBase 0.94.1
Hive 0.9.0

执行操作

hive> select count(*) from tablename;

异常提示
 
Exception in thread "Thread-54" java.lang.RuntimeException: Error while reading from task log url
 
        at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProcessor.java:240)
 
        at org.apache.hadoop.hive.ql.exec.JobDebugger.showJobFailDebugInfo(JobDebugger.java:227)
 
        at org.apache.hadoop.hive.ql.exec.JobDebugger.run(JobDebugger.java:92)
 
        at java.lang.Thread.run(Thread.java:662)
 
Caused by: java.io.IOException: Server returned HTTP response code: 400 for URL:    :50060/tasklog?taskid=attempt_201212192008_0014_m_000000_3&start=-8193
 
        at sun.net.(HttpURLConnection.java:1436)
 
        at java.net.URL.openStream(URL.java:1010)
 
        at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProcessor.java:192)
 
        ... 3 more

解决步骤
 
1.异常中的路径(根据自己的异常URL地址)
 
:50060/tasklog?taskid=attempt_201212192008_0014_m_000000_3&start=-8193
 
修改为:
 
:50060/tasklog?attemptid=attempt_201212192008_0014_m_000000_3&start=-8193
 
进行访问
 
2.页面中有异常具体记录,我这点的异常提示是:
 
  java.lang.NoClassDefFoundError: com/google/protobuf/Message
 
  明显是缺少某个jar,这个jar可以在HBase的jar中找到protobuf-java-2.4.0a.jar
 
3.将jar放入Hive的lib目录下,修改配置文件conf/hive-site.xml
 
 (如果前面整合过Hadoop,HBase,Hive的就知道,这里是加载Hive默认没有加载的jar)
 

 
 
    hive.aux.jars.path
 
    file:///usr/java/hive-0.9.0/lib/protobuf-java-2.4.0a.jar
 
 

 
 4.再次执行Hive的统计命令,可能还会有异常,因为我的MapReduce前面使用过,,在Hadoop中已经    加入过protobuf-java-2.4.0a.jar这个jar,如果以前你没有在Hadoop的lib下加入这个jar可能也    会有异常,如果出现异常依然可以根据第一步骤的方法来查看具体的异常。
 
  5.特别提示:如果Hadoop以前没有加入这个jar,请将集群所有的机器都加入这个jar,并重启        Hadoop或者单独重启MapReduce,重启MapReduce命令如下:
 
    stop-mapred.sh
 
    start-mapred.sh

linux

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Verwendung von Hadoop und HBase in Beego für die Speicherung und Abfrage großer Datenmengen Verwendung von Hadoop und HBase in Beego für die Speicherung und Abfrage großer Datenmengen Jun 22, 2023 am 10:21 AM

Mit dem Aufkommen des Big-Data-Zeitalters sind Datenverarbeitung und -speicherung immer wichtiger geworden und die effiziente Verwaltung und Analyse großer Datenmengen ist für Unternehmen zu einer Herausforderung geworden. Hadoop und HBase, zwei Projekte der Apache Foundation, bieten eine Lösung für die Speicherung und Analyse großer Datenmengen. In diesem Artikel wird erläutert, wie Sie Hadoop und HBase in Beego für die Speicherung und Abfrage großer Datenmengen verwenden. 1. Einführung in Hadoop und HBase Hadoop ist ein verteiltes Open-Source-Speicher- und Computersystem, das dies kann

Verwenden Sie die Sprache Hive in Go, um ein effizientes Data Warehouse zu implementieren Verwenden Sie die Sprache Hive in Go, um ein effizientes Data Warehouse zu implementieren Jun 15, 2023 pm 08:52 PM

In den letzten Jahren sind Data Warehouses zu einem integralen Bestandteil des Unternehmensdatenmanagements geworden. Die direkte Verwendung der Datenbank für die Datenanalyse kann einfache Abfrageanforderungen erfüllen. Wenn wir jedoch umfangreiche Datenanalysen durchführen müssen, kann eine einzelne Datenbank diese Anforderungen nicht mehr erfüllen. Derzeit müssen wir ein Data Warehouse verwenden, um große Datenmengen zu verarbeiten . Hive ist eine der beliebtesten Open-Source-Komponenten im Data-Warehouse-Bereich. Es kann die verteilte Hadoop-Computing-Engine und SQL-Abfragen integrieren und die parallele Verarbeitung großer Datenmengen unterstützen. Verwenden Sie gleichzeitig in der Go-Sprache

Erste Schritte mit PHP: PHP und Hive Erste Schritte mit PHP: PHP und Hive May 20, 2023 am 08:33 AM

PHP ist eine weit verbreitete serverseitige Programmiersprache, die in fast allen Branchen eingesetzt wird. In diesem Artikel werden wir die besondere Rolle von PHP bei der Verarbeitung großer Datenmengen untersuchen. Unter bestimmten Umständen kann PHP mit ApacheHive zusammenarbeiten, um eine Datenverarbeitung und -analyse in Echtzeit zu erreichen. Lassen Sie uns zunächst Hive vorstellen. Hive ist eine Hadoop-basierte Data Warehouse-Lösung. Es kann strukturierte Daten in SQL-Abfragen abbilden und die Abfragen als MapReduce-Aufgaben ausführen.

PHP implementiert die Open-Source-Big-Data-Analyseplattform Hive PHP implementiert die Open-Source-Big-Data-Analyseplattform Hive Jun 18, 2023 pm 02:47 PM

Da die Datenverarbeitung immer wichtiger wird, wird die Big-Data-Analyse immer häufiger. Allerdings möchten viele Unternehmen möglicherweise nicht viel Geld für eine Business-Analytics-Plattform ausgeben. Open-Source-Lösungen bieten diesen Unternehmen eine sinnvolle Option. In diesem Artikel besprechen wir, wie man die Open-Source-Big-Data-Analyseplattform Hive mit PHP implementiert. Hive ist ein Hadoop-basiertes Data-Warehouse-System, das große Datensätze auf Hadoop über SQL abfragen und verwalten kann. Für die Abfrage wird die SQL-ähnliche HiveQL-Sprache verwendet

Microsoft Exchange Server von Hives „windows.exe'-Ransomware betroffen Microsoft Exchange Server von Hives „windows.exe'-Ransomware betroffen Apr 16, 2023 pm 01:28 PM

Während die Aktualisierung der Software und das Herunterladen von Dateien nur von vertrauenswürdigen Quellen zu den Standardpraktiken der Cybersicherheit gehören, ist angesichts der jüngsten Zunahme von Malware-Angriffen klar, dass in diesem Bereich mehr Aufklärung erforderlich ist. Zu diesem Zweck hat das Forensik-Team von Varonis einige Hinweise dazu gegeben, wie Angreifer, die Hive-Ransomware verwenden, in ihrer neuesten Angriffsserie auf Microsoft Exchange Server abzielen. Für diejenigen, die es nicht wissen: Hive folgt einem Ransomware-as-a-Service-Modell. Obwohl Microsoft E im Jahr 2021 wegen bekannter Schwachstellen ins Visier nimmt,

So integrieren Sie hbase in Springboot So integrieren Sie hbase in Springboot May 30, 2023 pm 04:31 PM

Abhängigkeit: org.springframework.dataspring-data-hadoop-hbase2.5.0.RELEASEorg.apache.hbasehbase-client1.1.2org.springframework.dataspring-data-hadoop2.5.0.RELEASE Der offizielle Weg zum Hinzufügen von Konfigurationen erfolgt über XML einfach Nach dem Umschreiben lautet es wie folgt: @ConfigurationpublicclassHBaseConfiguration{@Value("${hbase.zooke

Centos7-Installations- und Konfigurations-Hive-Tutorial. Centos7-Installations- und Konfigurations-Hive-Tutorial. Feb 19, 2024 pm 02:21 PM

Bei der Installation und Konfiguration von Hive unter CentOS7 können Sie die folgenden Schritte ausführen: Stellen Sie sicher, dass Java installiert ist: Stellen Sie zunächst sicher, dass Java auf CentOS7 installiert ist. Mit dem folgenden Befehl können Sie überprüfen, ob Java installiert ist: java-version. Wenn Java nicht installiert ist, installieren Sie bitte die entsprechende Java-Version entsprechend Ihren Anforderungen. Laden Sie Hive herunter: Besuchen Sie die offizielle Website von ApacheHive () und laden Sie die neueste stabile Version von Hive herunter. Dekomprimieren Sie das komprimierte Hive-Paket: Verwenden Sie den folgenden Befehl, um das komprimierte Hive-Paket zu dekomprimieren: tarxvfzhive-x.x.x.tar.gz Dadurch wird Hive in das aktuelle Verzeichnis dekomprimiert. Umgebungsvariablen konfigurieren: Terminal öffnen,

Microsoft veröffentlicht einen Fix für den Fehler „Behavior:Win32/Hive.ZY' in Windows Defender Microsoft veröffentlicht einen Fix für den Fehler „Behavior:Win32/Hive.ZY' in Windows Defender Apr 28, 2023 pm 04:01 PM

Ein Microsoft-Beamter bestätigte weit verbreitete Berichte, dass Google Chrome, ChromiumEdge, Discord und mehrere andere Anwendungen von Microsofts integrierter Antivirensoftware „WindowsDefender“ als „Behavior:Win32/Hive.ZY“ gekennzeichnet wurden. Der Technologieriese bestätigte in einer Erklärung, dass er an einer Lösung arbeitet, die in den nächsten Stunden für alle bereitgestellt wird. Was genau ist „Behavior:Win32/Hive.ZY“? Laut einem auf dem Sicherheitsportal von Microsoft veröffentlichten Dokument ist jede mit „Behavior:Win32/Hive.ZY“ gekennzeichnete Datei dies

See all articles