首頁 資料庫 mysql教程 利用ruby通过Thrift接口批量插入HBase

利用ruby通过Thrift接口批量插入HBase

Jun 07, 2016 pm 05:28 PM
hbase ruby

因为工作中使用fluentd采集日志,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没

因为工作中使用fluentd采集日志,,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没办法只好参考python语言写的批量插入修改了代码,终于搞定。

$:.unshift File.expand_path('gen-rb', File.dirname(__FILE__))
require 'thrift'
require File.expand_path('gen-rb/hbase', File.dirname(__FILE__))
transport = Thrift::BufferedTransport.new(Thrift::Socket.new("localhost", "9090"))
transport.open
client = Apache::Hadoop::Hbase::Thrift::Hbase::Client.new(Thrift::BinaryProtocol.new(transport))

## Get Table meta data

def newpass( len )
    chars = ("a".."z").to_a + ("A".."Z").to_a + ("0".."9").to_a
    newpass = ""
    1.upto(len) { |i| newpass     return newpass
end
columnvalue = "v"*10
batchmutations = []
starttime=Time.now
1000.times do |x|

  mutations=[]
  rowkey ="RK_"     5.times do |i|
        mutations "f1:" columnvalue)
    end
    batchmutations rowkey,:mutations => mutations)
end
client.mutateRows("testdb2", batchmutations)

linux

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1320
25
PHP教程
1269
29
C# 教程
1249
24
深入分析 Golang 與 Ruby 的異同 深入分析 Golang 與 Ruby 的異同 Jun 01, 2024 pm 08:46 PM

Go與Ruby的主要區別在於:Go是一種靜態類型編譯語言,支援輕量級並行和高效記憶體管理,適合編寫高並發應用程式;Ruby是一種動態類型解釋語言,支援真正的平行但記憶體管理需手動控制,適合編寫靈活的Web應用程式。

在Beego中使用Hadoop和HBase進行大數據儲存和查詢 在Beego中使用Hadoop和HBase進行大數據儲存和查詢 Jun 22, 2023 am 10:21 AM

隨著大數據時代的到來,資料處理和儲存變得越來越重要,如何有效率地管理和分析大量的資料也成為企業面臨的挑戰。 Hadoop和HBase作為Apache基金會的兩個項目,為大數據儲存和分析提供了一個解決方案。本文將介紹如何在Beego中使用Hadoop和HBase進行大數據儲存和查詢。一、Hadoop和HBase簡介Hadoop是一個開源的分散式儲存和運算系統,它可

Ruby怎麼使用Mysql2連接操作MySQL Ruby怎麼使用Mysql2連接操作MySQL Apr 17, 2023 pm 10:07 PM

Ruby操作MySQL使用mysql2連接mysql並操作mysql。 geminstallmysql2連接mysql建立連線:require'mysql2'conn=Mysql2::Client.new({host:'192.168.200.73',username:'root',password:'P@ssword1!'})接受的連線選項包括: Mysql2::Clie

為什麼 Python、Ruby 等語言棄用了自增運算子? 為什麼 Python、Ruby 等語言棄用了自增運算子? May 11, 2023 pm 04:37 PM

許多人或許會注意到一個現象,那就是在一些現代程式語言(當然,並不是指「最近出現」的程式語言)中,自增和自減運算子被取消了。也就是說,在這些語言中不存在i++i​​n或這樣的表達,而是只存在i+=1j-=1這樣的表達方式了。本回答將從設計哲學這個角度探討這現象所產生的背景與原因。嚴格來說,說"i++正在消失"也許有失偏頗,因為主流程式語言中似乎只有Python、Rust和Swift不支援自增自減運算子。當我第一次接觸Python時,這也

如何使用MySQL和Ruby實作一個簡單的資料轉換功能 如何使用MySQL和Ruby實作一個簡單的資料轉換功能 Sep 21, 2023 am 08:07 AM

如何使用MySQL和Ruby實作一個簡單的資料轉換功能在實際的開發工作中,經常需要進行資料轉換,將一個資料格式轉換為另一個資料格式。本文將介紹如何使用MySQL和Ruby來實作一個簡單的資料轉換功能,並提供具體的程式碼範例。首先,我們需要安裝並設定MySQL和Ruby環境。確保已經安裝了MySQL資料庫,並可以透過​​命令列或其他工具連接到資料庫。另外,需要安裝

如何使用MySQL和Ruby實作一個簡單的非同步任務排程功能 如何使用MySQL和Ruby實作一個簡單的非同步任務排程功能 Sep 20, 2023 am 10:48 AM

如何使用MySQL和Ruby實作一個簡單的非同步任務排程功能先前的Web應用程式大多採用同步的方式來處理請求,也就是用戶發送請求後,伺服器會立即處理完請求並傳回結果。然而,隨著應用程式複雜度的增加,同步方式的處理效率逐漸變得低下,因此非同步任務調度成為了現代Web應用程式中常見的需求。本文將介紹如何使用MySQL和Ruby來實作一個簡單的非同步任務排程功能,包括任務的

如何使用MySQL和Ruby實作一個簡單的資料查詢分析功能 如何使用MySQL和Ruby實作一個簡單的資料查詢分析功能 Sep 21, 2023 pm 04:36 PM

如何使用MySQL和Ruby實作一個簡單的資料查詢分析功能在當今大數據時代,資料分析已經成為了許多領域中不可或缺的一部分。而在進行資料分析時,最常見的操作就是進行資料查詢。本文將介紹如何使用MySQL和Ruby程式語言來實作一個簡單的資料查詢分析功能,並且給出具體的程式碼範例。首先,我們需要安裝MySQL和Ruby的開發環境。 MySQL是一個開源的關聯式資料庫

Redis在Ruby開發中的應用:如何快取複雜資料結構 Redis在Ruby開發中的應用:如何快取複雜資料結構 Jul 30, 2023 pm 08:58 PM

Redis在Ruby開發中的應用:如何快取複雜資料結構概述:Redis是一種高效能的鍵值儲存系統,被廣泛應用於快取資料和暫存。在Ruby開發中,我們可以使用Redis來快取複雜資料結構,進而提高系統的效能和反應速度。本文將介紹如何在Ruby中使用Redis快取複雜資料結構,並提供程式碼範例。背景:在開發過程中,我們經常遇到需要處理複雜資料結構的情況。例如,

See all articles