Rumah pangkalan data tutorial mysql HBase集群RS扩容性能验证Rowkey构建方法

HBase集群RS扩容性能验证Rowkey构建方法

Jun 07, 2016 pm 05:27 PM
hbase

RegionServer节点扩展后,需要将一部分原有Region迁移到新的RegionServer中,使各RegionServer负载均衡。

RegionServer节点扩展后,需要将一部分原有Region迁移到新的RegionServer中,使各RegionServer负载均衡。

为了验证多了一个节点后的HBase的写性能提升,需要使每次put时List中的RowKey平均分配到现有的所有Region中,以达到使所有RegionServer并发处理的目的。

下面的代码是这种均匀RowKey构建的元代码:

import java.util.ArrayList;
import java.util.List;


public class externTest {

 public static long TOTAL_NUMS = 145;
 public static int REGION_NUMS = 24;
 public static long EACH_PUT_NUMS = 48;

 public static void buildString() {
  int addition = 0;
  String str = null;
  List list = new ArrayList();
  long curNum = 0;
 
  long putNums = TOTAL_NUMS/EACH_PUT_NUMS; //通常等于总put数-1;
  long loopsInOnePut = EACH_PUT_NUMS/REGION_NUMS; //一次put所需的内层循环数,也即是curNum自增数
 
  // 处理循环内的
  for (long k = 0; k    for (long i = 0; i     for (int j = 0; j      //A-Z使用同一个数值
     addition = j % REGION_NUMS;
     str = num2ABC(addition);
     //构建本条记录字符串
     System.out.println(str + curNum);
     list.add(str);
    }
    curNum++; //一次循环后当前尾数+1
   }
   // TODO: 执行一次put
   System.out.println("put");
   list.clear();
  }
 
  // 处理循环外的,肯定小于EACH_PUT_NUMS,,最后一次put操作
  long lastNums = TOTAL_NUMS % EACH_PUT_NUMS; //还剩多少记录要put
  long lastloops = lastNums / REGION_NUMS; //curNum还要自增多少
  long numPlus = lastNums % REGION_NUMS;  //最后额外补充多少条记录
  for (long i = 0; i    for (int j = 0; j     //A-Z使用同一个数值
    addition = j % REGION_NUMS;
    str = num2ABC(addition);
    //构建本条记录字符串
    System.out.println(str + curNum);
    list.add(str);
   }
   curNum++; //一次循环后当前尾数+1
  }
  // 将循环外
  for (int j = 0; j    //A-Z使用同一个数值
   addition = j % REGION_NUMS;
   str = num2ABC(addition);
   //构建本条记录字符串
   System.out.println(str + curNum);
   list.add(str);
  }
  // TODO: 执行一次put
  System.out.println("put");
  list.clear();
 
  return;
 }
 
 public static String num2ABC(int num) {
  String str = null;
  switch (num) {
   case 0:
    str = new String("A");
    break;
   case 1:
    str = new String("B");
    break;
   case 2:
    str = new String("C");
    break;
   case 3:
    str = new String("D");
    break;
   case 4:
    str = new String("E");
    break;
   case 5:
    str = new String("F");
    break;
   case 6:
    str = new String("G");
    break;
   case 7:
    str = new String("H");
    break;
   case 8:
    str = new String("I");
    break;
   case 9:
    str = new String("J");
    break;
   case 10:
    str = new String("K");
    break;
   case 11:
    str = new String("L");
    break;
   case 12:
    str = new String("M");
    break;
   case 13:
    str = new String("N");
    break;
   case 14:
    str = new String("O");
    break;
   case 15:
    str = new String("P");
    break;
   case 16:
    str = new String("Q");
    break;
   case 17:
    str = new String("R");
    break;
   case 18:
    str = new String("S");
    break;
   case 19:
    str = new String("T");
    break;
   case 20:
    str = new String("U");
    break;
   case 21:
    str = new String("V");
    break;
   case 22:
    str = new String("W");
    break;
   case 23:
    str = new String("X");
    break;
   default:
    str = new String("Z");
    break;
  }
  return str;
 }
 
 /**
  * @param args
  */
 public static void main(String[] args) {
  System.out.println("Test my Java!");
 
  buildString();
 }
}

linux

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Akan R.E.P.O. Ada Crossplay?
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Menggunakan Hadoop dan HBase dalam Beego untuk penyimpanan data besar dan pertanyaan Menggunakan Hadoop dan HBase dalam Beego untuk penyimpanan data besar dan pertanyaan Jun 22, 2023 am 10:21 AM

Dengan kemunculan era data besar, pemprosesan dan penyimpanan data menjadi semakin penting, dan cara mengurus dan menganalisis sejumlah besar data dengan cekap telah menjadi cabaran bagi perusahaan. Hadoop dan HBase, dua projek Yayasan Apache, menyediakan penyelesaian untuk penyimpanan dan analisis data besar. Artikel ini akan memperkenalkan cara menggunakan Hadoop dan HBase dalam Beego untuk storan dan pertanyaan data besar. 1. Pengenalan kepada Hadoop dan HBase Hadoop ialah sistem storan dan pengkomputeran teragih sumber terbuka yang boleh

Bagaimana untuk mengintegrasikan hbase dalam springboot Bagaimana untuk mengintegrasikan hbase dalam springboot May 30, 2023 pm 04:31 PM

Ketergantungan: org.springframework.dataspring-data-hadoop-hbase2.5.0.RELEASEorg.apache.hbasehbase-client1.1.2org.springframework.dataspring-data-hadoop2.5.0.RELEASE Cara rasmi untuk menambah konfigurasi adalah melalui xml, iaitu mudah Selepas menulis semula, ia adalah seperti berikut: @ConfigurationpublicclassHBaseConfiguration{@Value("${hbase.zooke

Cara menggunakan Java untuk membangunkan aplikasi pangkalan data NoSQL berdasarkan HBase Cara menggunakan Java untuk membangunkan aplikasi pangkalan data NoSQL berdasarkan HBase Sep 20, 2023 am 08:39 AM

Cara menggunakan Java untuk membangunkan aplikasi pangkalan data NoSQL berdasarkan HBase Pengenalan: Dengan kemunculan era data besar, pangkalan data NoSQL telah menjadi salah satu alat penting untuk memproses data besar-besaran. HBase, sebagai sistem pangkalan data NoSQL teragih sumber terbuka, mempunyai aplikasi yang luas dalam bidang data besar. Artikel ini akan memperkenalkan cara menggunakan Java untuk membangunkan aplikasi pangkalan data NoSQL berdasarkan HBase dan menyediakan contoh kod khusus. 1. Pengenalan kepada HBase: HBase ialah sistem pengedaran berdasarkan Hadoop.

Gunakan HBase dalam bahasa Go untuk melaksanakan aplikasi pangkalan data NoSQL yang cekap Gunakan HBase dalam bahasa Go untuk melaksanakan aplikasi pangkalan data NoSQL yang cekap Jun 15, 2023 pm 08:56 PM

Dengan kemunculan era data besar, penyimpanan dan pemprosesan data besar-besaran telah menjadi sangat penting. Dari segi pangkalan data NoSQL, HBase kini merupakan penyelesaian yang digunakan secara meluas. Sebagai bahasa pengaturcaraan yang ditaip kuat secara statik, bahasa Go semakin digunakan dalam bidang seperti pengkomputeran awan, pembangunan tapak web dan sains data kerana sintaksnya yang mudah dan prestasi cemerlang. Artikel ini akan memperkenalkan cara menggunakan HBase dalam bahasa Go untuk melaksanakan aplikasi pangkalan data NoSQL yang cekap. Pengenalan HBase HBase adalah asas yang sangat berskala, sangat boleh dipercayai

PHP dan Apache HBase berintegrasi untuk melaksanakan pangkalan data NoSQL dan storan teragih PHP dan Apache HBase berintegrasi untuk melaksanakan pangkalan data NoSQL dan storan teragih Jun 25, 2023 pm 06:01 PM

Dengan pertumbuhan berterusan aplikasi Internet dan volum data, pangkalan data hubungan tradisional tidak lagi dapat memenuhi keperluan menyimpan dan memproses data besar-besaran. Sebagai sistem pengurusan pangkalan data jenis baharu, NoSQL (NotOnlySQL) mempunyai kelebihan ketara dalam penyimpanan dan pemprosesan data secara besar-besaran, dan telah menerima lebih banyak perhatian dan aplikasi. Antara pangkalan data NoSQL, ApacheHBase ialah pangkalan data teragih sumber terbuka yang sangat popular Ia direka berdasarkan idea BigTable Google dan mempunyai

Menggunakan HBase untuk penyimpanan data dan pertanyaan dalam Beego Menggunakan HBase untuk penyimpanan data dan pertanyaan dalam Beego Jun 22, 2023 am 11:58 AM

Menggunakan HBase untuk penyimpanan data dan pertanyaan dalam rangka kerja Beego Dengan perkembangan berterusan era Internet, penyimpanan data dan pertanyaan menjadi semakin kritikal. Dengan kemunculan era data besar, pelbagai sumber data menduduki kedudukan penting dalam bidang masing-masing Pangkalan data bukan hubungan adalah pangkalan data dengan kelebihan yang jelas dalam penyimpanan dan pertanyaan data, dan HBase ialah pangkalan data bukan hubungan yang diedarkan berdasarkan Hadoop. Pangkalan data perhubungan. Artikel ini akan memperkenalkan cara menggunakan HBase untuk penyimpanan data dan pertanyaan dalam rangka kerja Beego. 1. H

Cara menggunakan HBase untuk penyimpanan data dan pertanyaan dalam Workerman Cara menggunakan HBase untuk penyimpanan data dan pertanyaan dalam Workerman Nov 07, 2023 am 08:30 AM

Workerman ialah rangka kerja PHPsocket berprestasi tinggi yang boleh mengehoskan sejumlah besar sambungan serentak. Tidak seperti rangka kerja PHP tradisional, Workerman tidak bergantung pada pelayan web seperti Apache atau Nginx Sebaliknya, ia menjalankan keseluruhan aplikasi dengan sendirinya dengan memulakan proses PHP. Pekerja mempunyai kecekapan operasi yang sangat tinggi dan kapasiti beban yang lebih baik. Pada masa yang sama, HBase ialah sistem pangkalan data NoSQL teragih yang digunakan secara meluas dalam data besar

Ketahui tentang teknologi caching HBase Ketahui tentang teknologi caching HBase Jun 20, 2023 pm 07:15 PM

HBase ialah sistem storan teragih berasaskan Hadoop yang direka untuk menyimpan dan memproses data berstruktur berskala besar. Untuk mengoptimumkan prestasi baca dan tulisnya, HBase menyediakan pelbagai mekanisme caching, yang boleh meningkatkan kecekapan pertanyaan dan mengurangkan kelewatan baca dan tulis melalui konfigurasi yang munasabah. Artikel ini akan memperkenalkan teknologi caching HBase dan cara mengkonfigurasinya. Jenis cache HBase HBase menyediakan dua mekanisme cache asas: cache blok (BlockCache) dan cache MemStore (juga dipanggil cache tulis). Cache blok sudah masuk

See all articles