ハイブと hbase の違いは何ですか

hive と hbase の違いは次のとおりです。Hive は SQL に似たエンジンであり、MapReduce タスクを実行します。Hbase は Hadoop 上で実行される NoSQL キー/値データベースです。 hbase は、MapReduce タスクを実行する代わりに、データベース上でリアルタイムで実行できます。

hive と hbase の違い

Hive は、以下に基づくデータ ウェアハウス ツールです。 Hadoop は、構造化データ ファイルをデータベース テーブルにマップし、SQL ステートメントを MapReduce タスクに変換して実行できる単純な SQL クエリ関数を提供します。

HBase は Hadoop のデータベースであり、分散型でスケーラブルなビッグ データ ストレージです。

両方の

の機能 Hive は、SQL に慣れているユーザーが MapReduce タスクを実行するのに役立ちます。 JDBC互換のため、既存のSQLツールとの統合も可能です。 Hive クエリの実行には、デフォルトでテーブル内のすべてのデータが反復処理されるため、時間がかかることがあります。この欠点にもかかわらず、一度に通過するデータの量は、Hive のパーティショニング メカニズムを通じて制御できます。パーティションを使用すると、異なるフォルダーに保存されているデータ セットに対してフィルター クエリを実行でき、クエリ中に指定されたフォルダー (パーティション) 内のデータのみが走査されます。このメカニズムは、たとえば、ファイル名に時刻形式が含まれている限り、特定の時刻範囲内のファイルのみを処理するために使用できます。

HBase はキー/値を保存することで機能します。これは、行の追加または更新、範囲内のセルの表示、指定された行の取得、指定された行、列、または列バージョンの削除という 4 つの主な操作をサポートします。バージョン情報は、履歴データを取得するために使用されます (各行の履歴データは削除でき、Hbase 圧縮によって領域を解放できます)。 HBase にはテーブルが含まれていますが、スキーマはテーブルと列ファミリーにのみ必要であり、列には必要ありません。 Hbase のテーブルには、インクリメント/カウント関数が含まれています。

制限事項

Hive は現在、更新操作をサポートしていません。さらに、Hive は Hadoop 上でバッチ操作を実行するため、クエリの結果を取得するまでに長い時間 (通常は数分から数時間) かかります。 Hive は、ファイルとディレクトリを列にマップするための事前定義されたスキーマを提供する必要がありますが、Hive は ACID に準拠していません。

HBase クエリは、再学習する必要がある特定の言語で記述されています。 SQL に似た機能は Apache Phonenix を通じて実現できますが、そのためにはスキーマを提供する必要があります。さらに、Hbase は一部の機能をサポートしていますが、すべての ACID 機能と互換性があるわけではありません。最後になりますが、Hbase を実行するには、Zookeeper が必須です。Zookeeper は、構成サービス、メタ情報の保守、および名前空間サービスを含む、分散調整に使用されるサービスです。

アプリケーション シナリオ

Hive は、傾向や Web サイトのログを計算するなど、一定期間にわたるデータの分析とクエリに適しています。 Hive はリアルタイム クエリには使用しないでください。結果が返ってくるまでに時間がかかるからです。

Hbase は、ビッグ データのリアルタイム クエリに非常に適しています。 Facebook はニュースとリアルタイム分析に Hbase を使用しています。 Facebook の接続数をカウントするためにも使用できます。

hive と hbase の違い

Hive と Hbase は、Hadoop に基づいた 2 つの異なるテクノロジです。

Hive は SQL に似たエンジンであり、 MapReduce タスクを実行するために、Hbase は Hadoop 上の NoSQL キー/値データベースです。

hbase は hdfs 上で実行されます。hive とは異なり、hbase は MapReduce タスクを実行する代わりにデータベース上でリアルタイムに実行できます。

もちろん、これら 2 つのツールは同時に使用することもできます。 Google を検索に使用し、FaceBook をソーシャル ネットワーキングに使用するのと同じように、Hive は統計クエリに使用でき、HBase はリアルタイム クエリに使用できます。データを Hive から Hbase に書き込むことも、設定を Hive から書き戻すこともできます。 Hベース。

関連知識の詳細については、PHP 中国語 Web サイト をご覧ください。 ！