ホームページ データベース mysql チュートリアル HBase集群RS扩容性能验证Rowkey构建方法

HBase集群RS扩容性能验证Rowkey构建方法

Jun 07, 2016 pm 05:27 PM
hbase

RegionServer节点扩展后,需要将一部分原有Region迁移到新的RegionServer中,使各RegionServer负载均衡。

RegionServer节点扩展后,需要将一部分原有Region迁移到新的RegionServer中,使各RegionServer负载均衡。

为了验证多了一个节点后的HBase的写性能提升,需要使每次put时List中的RowKey平均分配到现有的所有Region中,以达到使所有RegionServer并发处理的目的。

下面的代码是这种均匀RowKey构建的元代码:

import java.util.ArrayList;
import java.util.List;


public class externTest {

 public static long TOTAL_NUMS = 145;
 public static int REGION_NUMS = 24;
 public static long EACH_PUT_NUMS = 48;

 public static void buildString() {
  int addition = 0;
  String str = null;
  List list = new ArrayList();
  long curNum = 0;
 
  long putNums = TOTAL_NUMS/EACH_PUT_NUMS; //通常等于总put数-1;
  long loopsInOnePut = EACH_PUT_NUMS/REGION_NUMS; //一次put所需的内层循环数,也即是curNum自增数
 
  // 处理循环内的
  for (long k = 0; k    for (long i = 0; i     for (int j = 0; j      //A-Z使用同一个数值
     addition = j % REGION_NUMS;
     str = num2ABC(addition);
     //构建本条记录字符串
     System.out.println(str + curNum);
     list.add(str);
    }
    curNum++; //一次循环后当前尾数+1
   }
   // TODO: 执行一次put
   System.out.println("put");
   list.clear();
  }
 
  // 处理循环外的,肯定小于EACH_PUT_NUMS,,最后一次put操作
  long lastNums = TOTAL_NUMS % EACH_PUT_NUMS; //还剩多少记录要put
  long lastloops = lastNums / REGION_NUMS; //curNum还要自增多少
  long numPlus = lastNums % REGION_NUMS;  //最后额外补充多少条记录
  for (long i = 0; i    for (int j = 0; j     //A-Z使用同一个数值
    addition = j % REGION_NUMS;
    str = num2ABC(addition);
    //构建本条记录字符串
    System.out.println(str + curNum);
    list.add(str);
   }
   curNum++; //一次循环后当前尾数+1
  }
  // 将循环外
  for (int j = 0; j    //A-Z使用同一个数值
   addition = j % REGION_NUMS;
   str = num2ABC(addition);
   //构建本条记录字符串
   System.out.println(str + curNum);
   list.add(str);
  }
  // TODO: 执行一次put
  System.out.println("put");
  list.clear();
 
  return;
 }
 
 public static String num2ABC(int num) {
  String str = null;
  switch (num) {
   case 0:
    str = new String("A");
    break;
   case 1:
    str = new String("B");
    break;
   case 2:
    str = new String("C");
    break;
   case 3:
    str = new String("D");
    break;
   case 4:
    str = new String("E");
    break;
   case 5:
    str = new String("F");
    break;
   case 6:
    str = new String("G");
    break;
   case 7:
    str = new String("H");
    break;
   case 8:
    str = new String("I");
    break;
   case 9:
    str = new String("J");
    break;
   case 10:
    str = new String("K");
    break;
   case 11:
    str = new String("L");
    break;
   case 12:
    str = new String("M");
    break;
   case 13:
    str = new String("N");
    break;
   case 14:
    str = new String("O");
    break;
   case 15:
    str = new String("P");
    break;
   case 16:
    str = new String("Q");
    break;
   case 17:
    str = new String("R");
    break;
   case 18:
    str = new String("S");
    break;
   case 19:
    str = new String("T");
    break;
   case 20:
    str = new String("U");
    break;
   case 21:
    str = new String("V");
    break;
   case 22:
    str = new String("W");
    break;
   case 23:
    str = new String("X");
    break;
   default:
    str = new String("Z");
    break;
  }
  return str;
 }
 
 /**
  * @param args
  */
 public static void main(String[] args) {
  System.out.println("Test my Java!");
 
  buildString();
 }
}

linux

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Beego で Hadoop と HBase を使用してビッグ データ ストレージとクエリを実行する Beego で Hadoop と HBase を使用してビッグ データ ストレージとクエリを実行する Jun 22, 2023 am 10:21 AM

ビッグデータ時代の到来に伴い、データの処理と保存の重要性がますます高まっており、大量のデータをいかに効率的に管理、分析するかが企業にとっての課題となっています。 Apache Foundation の 2 つのプロジェクトである Hadoop と HBase は、ビッグ データのストレージと分析のためのソリューションを提供します。この記事では、ビッグデータのストレージとクエリのために Beego で Hadoop と HBase を使用する方法を紹介します。 1. Hadoop と HBase の概要 Hadoop は、オープンソースの分散ストレージおよびコンピューティング システムです。

SpringBoot に hbase を統合する方法 SpringBoot に hbase を統合する方法 May 30, 2023 pm 04:31 PM

依存関係: org.springframework.dataspring-data-hadoop-hbase2.5.0.RELEASEorg.apache.hbasehbase-client1.1.2org.springframework.dataspring-data-hadoop2.5.0.RELEASE 構成を追加する正式な方法は、xml を使用することです。 simple 書き換えると以下のようになります。 @ConfigurationpublicclassHBaseConfiguration{@Value("${hbase.zooke

Java を使用して HBase に基づく NoSQL データベース アプリケーションを開発する方法 Java を使用して HBase に基づく NoSQL データベース アプリケーションを開発する方法 Sep 20, 2023 am 08:39 AM

Java を使用して HBase に基づいた NoSQL データベース アプリケーションを開発する方法 はじめに: ビッグ データ時代の到来により、NoSQL データベースは大量のデータを処理するための重要なツールの 1 つになりました。 HBase は、オープンソースの分散型 NoSQL データベース システムとして、ビッグ データの分野で広範なアプリケーションを備えています。この記事では、Java を使用して HBase に基づく NoSQL データベース アプリケーションを開発する方法を紹介し、具体的なコード例を示します。 1. HBase の概要: HBase は、Hadoop に基づく分散システムです。

Go 言語で HBase を使用して効率的な NoSQL データベース アプリケーションを実装する Go 言語で HBase を使用して効率的な NoSQL データベース アプリケーションを実装する Jun 15, 2023 pm 08:56 PM

ビッグデータ時代の到来により、大量のデータの保存と処理が特に重要になっています。 NoSQL データベースに関しては、HBase が現在広く使用されているソリューションです。 Go 言語は、静的に強く型付けされたプログラミング言語であり、そのシンプルな構文と優れたパフォーマンスにより、クラウド コンピューティング、Web サイト開発、データ サイエンスなどの分野で使用されることが増えています。この記事では、Go 言語で HBase を使用して効率的な NoSQL データベース アプリケーションを実装する方法を紹介します。 HBase の概要 HBase は、拡張性が高く、信頼性が高く、基本的な

PHP と Apache HBase を統合して NoSQL データベースと分散ストレージを実装 PHP と Apache HBase を統合して NoSQL データベースと分散ストレージを実装 Jun 25, 2023 pm 06:01 PM

インターネット アプリケーションとデータ量の継続的な増加に伴い、従来のリレーショナル データベースでは、大量のデータの保存と処理のニーズを満たすことができなくなりました。新しいタイプのデータベース管理システムとして、NoSQL (NotOnlySQL) は大規模なデータの保存と処理において大きな利点があり、ますます注目され、応用されています。 NoSQL データベースの中でも、ApacheHBase は非常に人気のあるオープンソースの分散データベースであり、Google の BigTable のアイデアに基づいて設計されており、

Beego でのデータ ストレージとクエリに HBase を使用する Beego でのデータ ストレージとクエリに HBase を使用する Jun 22, 2023 am 11:58 AM

Beego フレームワークでのデータ ストレージとクエリに HBase を使用する インターネット時代の継続的な発展に伴い、データ ストレージとクエリはますます重要になってきています。ビッグデータ時代の到来により、さまざまなデータソースがそれぞれの分野で重要な位置を占めていますが、非リレーショナルデータベースはデータストレージとクエリに明らかな利点を備えたデータベースであり、HBaseはHadoopをベースとした分散型非リレーショナルデータベースです。リレーショナル データベース。この記事では、Beego フレームワークでのデータ ストレージとクエリに HBase を使用する方法を紹介します。 1.H

Workerman でのデータ ストレージとクエリに HBase を使用する方法 Workerman でのデータ ストレージとクエリに HBase を使用する方法 Nov 07, 2023 am 08:30 AM

Workerman は、多数の同時接続をホストできる高性能 PHPsocket フレームワークです。従来の PHP フレームワークとは異なり、Workerman は Apache や Nginx などの Web サーバーに依存せず、PHP プロセスを開始することでアプリケーション全体を単独で実行します。 Workerman は非常に高い作業効率と優れた耐荷重性を備えています。同時に、HBase はビッグデータで広く使用されている分散型 NoSQL データベース システムです。

HBase キャッシュ テクノロジについて学ぶ HBase キャッシュ テクノロジについて学ぶ Jun 20, 2023 pm 07:15 PM

HBase は、大規模な構造化データを保存および処理するために設計された Hadoop ベースの分散ストレージ システムです。読み取りおよび書き込みのパフォーマンスを最適化するために、HBase はさまざまなキャッシュ メカニズムを提供します。これにより、クエリ効率が向上し、適切な構成を通じて読み取りおよび書き込みの遅延が軽減されます。この記事では、HBase キャッシュ テクノロジとその構成方法を紹介します。 HBase のキャッシュ タイプ HBase は、ブロック キャッシュ (BlockCache) と MemStore キャッシュ (書き込みキャッシュとも呼ばれます) という 2 つの基本的なキャッシュ メカニズムを提供します。ブロックキャッシュは次のとおりです

See all articles