利用ruby通过Thrift接口批量插入HBase
Jun 07, 2016 pm 05:28 PM因为工作中使用fluentd采集日志,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没
因为工作中使用fluentd采集日志,,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没办法只好参考python语言写的批量插入修改了代码,终于搞定。
$:.unshift File.expand_path('gen-rb', File.dirname(__FILE__))
require 'thrift'
require File.expand_path('gen-rb/hbase', File.dirname(__FILE__))
transport = Thrift::BufferedTransport.new(Thrift::Socket.new("localhost", "9090"))
transport.open
client = Apache::Hadoop::Hbase::Thrift::Hbase::Client.new(Thrift::BinaryProtocol.new(transport))
## Get Table meta data
def newpass( len )
chars = ("a".."z").to_a + ("A".."Z").to_a + ("0".."9").to_a
newpass = ""
1.upto(len) { |i| newpass return newpass
end
columnvalue = "v"*10
batchmutations = []
starttime=Time.now
1000.times do |x|
mutations=[]
rowkey ="RK_" 5.times do |i|
mutations "f1:" columnvalue)
end
batchmutations rowkey,:mutations => mutations)
end
client.mutateRows("testdb2", batchmutations)

Article chaud

Outils chauds Tags

Article chaud

Tags d'article chaud

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Utilisation de Hadoop et HBase dans Beego pour le stockage et les requêtes Big Data

Comment Ruby utilise-t-il la connexion Mysql2 pour faire fonctionner MySQL ?

Pourquoi Python, Ruby et d'autres langages ont-ils rendu obsolète l'opérateur d'incrémentation ?

Analyse approfondie des similitudes et des différences entre Golang et Ruby

Comment utiliser MySQL et Ruby pour implémenter une fonction simple de rapport d'analyse de données

Comment implémenter une fonction simple de conversion de données à l'aide de MySQL et Ruby

Comment développer des capacités d'analyse de journaux en temps réel à l'aide de Redis et Ruby

Comment intégrer hbase dans springboot
