Maison base de données tutoriel mysql 利用ruby通过Thrift接口批量插入HBase

利用ruby通过Thrift接口批量插入HBase

Jun 07, 2016 pm 05:28 PM
hbase ruby

因为工作中使用fluentd采集日志,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没

因为工作中使用fluentd采集日志,,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没办法只好参考python语言写的批量插入修改了代码,终于搞定。

$:.unshift File.expand_path('gen-rb', File.dirname(__FILE__))
require 'thrift'
require File.expand_path('gen-rb/hbase', File.dirname(__FILE__))
transport = Thrift::BufferedTransport.new(Thrift::Socket.new("localhost", "9090"))
transport.open
client = Apache::Hadoop::Hbase::Thrift::Hbase::Client.new(Thrift::BinaryProtocol.new(transport))

## Get Table meta data

def newpass( len )
    chars = ("a".."z").to_a + ("A".."Z").to_a + ("0".."9").to_a
    newpass = ""
    1.upto(len) { |i| newpass     return newpass
end
columnvalue = "v"*10
batchmutations = []
starttime=Time.now
1000.times do |x|

  mutations=[]
  rowkey ="RK_"     5.times do |i|
        mutations "f1:" columnvalue)
    end
    batchmutations rowkey,:mutations => mutations)
end
client.mutateRows("testdb2", batchmutations)

linux

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Article chaud

Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD
Repo: Comment relancer ses coéquipiers
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
1 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Article chaud

Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD
Repo: Comment relancer ses coéquipiers
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
1 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Tags d'article chaud

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Utilisation de Hadoop et HBase dans Beego pour le stockage et les requêtes Big Data Utilisation de Hadoop et HBase dans Beego pour le stockage et les requêtes Big Data Jun 22, 2023 am 10:21 AM

Utilisation de Hadoop et HBase dans Beego pour le stockage et les requêtes Big Data

Comment Ruby utilise-t-il la connexion Mysql2 pour faire fonctionner MySQL ? Comment Ruby utilise-t-il la connexion Mysql2 pour faire fonctionner MySQL ? Apr 17, 2023 pm 10:07 PM

Comment Ruby utilise-t-il la connexion Mysql2 pour faire fonctionner MySQL ?

Pourquoi Python, Ruby et d'autres langages ont-ils rendu obsolète l'opérateur d'incrémentation ? Pourquoi Python, Ruby et d'autres langages ont-ils rendu obsolète l'opérateur d'incrémentation ? May 11, 2023 pm 04:37 PM

Pourquoi Python, Ruby et d'autres langages ont-ils rendu obsolète l'opérateur d'incrémentation ?

Analyse approfondie des similitudes et des différences entre Golang et Ruby Analyse approfondie des similitudes et des différences entre Golang et Ruby Jun 01, 2024 pm 08:46 PM

Analyse approfondie des similitudes et des différences entre Golang et Ruby

Comment utiliser MySQL et Ruby pour implémenter une fonction simple de rapport d'analyse de données Comment utiliser MySQL et Ruby pour implémenter une fonction simple de rapport d'analyse de données Sep 20, 2023 pm 05:09 PM

Comment utiliser MySQL et Ruby pour implémenter une fonction simple de rapport d'analyse de données

Comment implémenter une fonction simple de conversion de données à l'aide de MySQL et Ruby Comment implémenter une fonction simple de conversion de données à l'aide de MySQL et Ruby Sep 21, 2023 am 08:07 AM

Comment implémenter une fonction simple de conversion de données à l'aide de MySQL et Ruby

Comment développer des capacités d'analyse de journaux en temps réel à l'aide de Redis et Ruby Comment développer des capacités d'analyse de journaux en temps réel à l'aide de Redis et Ruby Sep 21, 2023 am 08:57 AM

Comment développer des capacités d'analyse de journaux en temps réel à l'aide de Redis et Ruby

Comment intégrer hbase dans springboot Comment intégrer hbase dans springboot May 30, 2023 pm 04:31 PM

Comment intégrer hbase dans springboot

See all articles