Hive和HBase整合,查询异常
Hive和HBase整合,查询异常,再次执行Hive的统计命令,可能还会有异常,因为我的MapReduce前面使用过,在Hadoop中已经 加入过pro
版本说明
Hadoop 1.0.3
HBase 0.94.1
Hive 0.9.0
执行操作
hive> select count(*) from tablename;
异常提示
Exception in thread "Thread-54" java.lang.RuntimeException: Error while reading from task log url
at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProcessor.java:240)
at org.apache.hadoop.hive.ql.exec.JobDebugger.showJobFailDebugInfo(JobDebugger.java:227)
at org.apache.hadoop.hive.ql.exec.JobDebugger.run(JobDebugger.java:92)
at java.lang.Thread.run(Thread.java:662)
Caused by: java.io.IOException: Server returned HTTP response code: 400 for URL: :50060/tasklog?taskid=attempt_201212192008_0014_m_000000_3&start=-8193
at sun.net.(HttpURLConnection.java:1436)
at java.net.URL.openStream(URL.java:1010)
at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProcessor.java:192)
... 3 more
解决步骤
1.异常中的路径(根据自己的异常URL地址)
:50060/tasklog?taskid=attempt_201212192008_0014_m_000000_3&start=-8193
修改为:
:50060/tasklog?attemptid=attempt_201212192008_0014_m_000000_3&start=-8193
进行访问
2.页面中有异常具体记录,我这点的异常提示是:
java.lang.NoClassDefFoundError: com/google/protobuf/Message
明显是缺少某个jar,这个jar可以在HBase的jar中找到protobuf-java-2.4.0a.jar
3.将jar放入Hive的lib目录下,修改配置文件conf/hive-site.xml
(如果前面整合过Hadoop,HBase,Hive的就知道,这里是加载Hive默认没有加载的jar)
4.再次执行Hive的统计命令,可能还会有异常,因为我的MapReduce前面使用过,,在Hadoop中已经 加入过protobuf-java-2.4.0a.jar这个jar,如果以前你没有在Hadoop的lib下加入这个jar可能也 会有异常,如果出现异常依然可以根据第一步骤的方法来查看具体的异常。
5.特别提示:如果Hadoop以前没有加入这个jar,请将集群所有的机器都加入这个jar,并重启 Hadoop或者单独重启MapReduce,重启MapReduce命令如下:
stop-mapred.sh
start-mapred.sh

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック

ビッグデータ時代の到来に伴い、データの処理と保存の重要性がますます高まっており、大量のデータをいかに効率的に管理、分析するかが企業にとっての課題となっています。 Apache Foundation の 2 つのプロジェクトである Hadoop と HBase は、ビッグ データのストレージと分析のためのソリューションを提供します。この記事では、ビッグデータのストレージとクエリのために Beego で Hadoop と HBase を使用する方法を紹介します。 1. Hadoop と HBase の概要 Hadoop は、オープンソースの分散ストレージおよびコンピューティング システムです。

近年、データ ウェアハウスは企業のデータ管理に不可欠な部分となっています。データ分析にデータベースを直接使用すると、単純なクエリのニーズを満たすことができますが、大規模なデータ分析を実行する必要がある場合、単一のデータベースではニーズを満たすことができなくなり、大量のデータを処理するデータ ウェアハウスを使用する必要があります。 。 Hive は、データ ウェアハウス分野で最も人気のあるオープン ソース コンポーネントの 1 つで、Hadoop 分散コンピューティング エンジンと SQL クエリを統合し、大量のデータの並列処理をサポートできます。同時に、Go 言語では次を使用します。

PHP は、ほぼすべての業界で広く使用されているサーバーサイド プログラミング言語です。この記事では、ビッグ データ処理における PHP の特別な役割について説明します。特定の状況下では、PHP は ApacheHive と連携して、リアルタイムのデータ処理と分析を実現できます。まずはHiveについて紹介していきます。 Hive は、Hadoop ベースのデータ ウェアハウス ソリューションです。構造化データを SQL クエリにマッピングし、クエリを MapReduce タスクとして実行できます。

データ処理の重要性が高まるにつれて、ビッグデータ分析がますます一般的になってきています。ただし、多くの企業はビジネス分析プラットフォームに多額の費用を費やしたくないかもしれません。オープンソース ソリューションは、これらの企業に実行可能な選択肢を提供します。この記事では、PHP を使用してオープンソースの Hive ビッグ データ分析プラットフォームを実装する方法について説明します。 Hive は、SQL を介して Hadoop 上の大規模なデータ セットをクエリおよび管理できる Hadoop ベースのデータ ウェアハウス システムです。 SQL に似た HiveQL 言語を使用してクエリを実行します

ソフトウェアを最新の状態に保ち、信頼できるソースからのみファイルをダウンロードすることはサイバーセキュリティの標準的な慣行ですが、最近のマルウェア攻撃の増加を考慮すると、この分野でさらなる教育が必要であることは明らかです。そのために、Varonis フォレンジック チームは、Hive ランサムウェアを使用する攻撃者が最新の一連の攻撃でどのように Microsoft Exchange Server をターゲットにするかに関するガイダンスを提供しました。知らない人のために説明すると、Hive はサービスとしてのランサムウェア モデルに従っています。 Microsoft は既知の脆弱性について 2021 年に E をターゲットにしていますが、

依存関係: org.springframework.dataspring-data-hadoop-hbase2.5.0.RELEASEorg.apache.hbasehbase-client1.1.2org.springframework.dataspring-data-hadoop2.5.0.RELEASE 構成を追加する正式な方法は、xml を使用することです。 simple 書き換えると以下のようになります。 @ConfigurationpublicclassHBaseConfiguration{@Value("${hbase.zooke

CentOS7 に Hive をインストールして構成する場合は、次の手順を実行できます。 Java がインストールされていることを確認します。 まず、Java が CentOS7 にインストールされていることを確認します。次のコマンドを使用して、Java がインストールされているかどうかを確認できます。 java-version Java がインストールされていない場合は、必要に応じて適切な Java バージョンをインストールしてください。 Hive をダウンロードする: ApacheHive の公式 Web サイト () にアクセスし、Hive の最新の安定バージョンをダウンロードします。 Hive 圧縮パッケージを解凍します。次のコマンドを使用して、Hive 圧縮パッケージを解凍します。 tarxvfzhive-x.x.x.tar.gz これにより、Hive が現在のディレクトリに解凍されます。環境変数を構成します: ターミナルを開き、

Microsoftの関係者は、Google Chrome、ChromiumEdge、Discord、およびその他のいくつかのアプリケーションが、Microsoftの組み込みウイルス対策ソフトウェア「WindowsDefender」によって「Behavior:Win32/Hive.ZY」としてフラグ付けされたという広範な報告を確認しました。テクノロジー大手は声明の中で、今後数時間以内に全員に公開される予定の修正に取り組んでいることを認めた。では、「Behavior:Win32/Hive.ZY」とは一体何でしょうか? Microsoft のセキュリティ ポータルに掲載された文書によると、「Behavior:Win32/Hive.ZY」とマークされたファイルはすべて
