首页 数据库 mysql教程 利用ruby通过Thrift接口批量插入HBase

利用ruby通过Thrift接口批量插入HBase

Jun 07, 2016 pm 05:28 PM
hbase ruby

因为工作中使用fluentd采集日志,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没

因为工作中使用fluentd采集日志,,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没办法只好参考python语言写的批量插入修改了代码,终于搞定。

$:.unshift File.expand_path('gen-rb', File.dirname(__FILE__))
require 'thrift'
require File.expand_path('gen-rb/hbase', File.dirname(__FILE__))
transport = Thrift::BufferedTransport.new(Thrift::Socket.new("localhost", "9090"))
transport.open
client = Apache::Hadoop::Hbase::Thrift::Hbase::Client.new(Thrift::BinaryProtocol.new(transport))

## Get Table meta data

def newpass( len )
    chars = ("a".."z").to_a + ("A".."Z").to_a + ("0".."9").to_a
    newpass = ""
    1.upto(len) { |i| newpass     return newpass
end
columnvalue = "v"*10
batchmutations = []
starttime=Time.now
1000.times do |x|

  mutations=[]
  rowkey ="RK_"     5.times do |i|
        mutations "f1:" columnvalue)
    end
    batchmutations rowkey,:mutations => mutations)
end
client.mutateRows("testdb2", batchmutations)

linux

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

热门话题

Java教程
1662
14
CakePHP 教程
1418
52
Laravel 教程
1311
25
PHP教程
1261
29
C# 教程
1234
24
深入分析 Golang 与 Ruby 的异同 深入分析 Golang 与 Ruby 的异同 Jun 01, 2024 pm 08:46 PM

Go与Ruby的主要区别在于:Go是一种静态类型编译语言,支持轻量级并行和高效内存管理,适合编写高并发应用程序;Ruby是一种动态类型解释语言,支持真正的并行但内存管理需手动控制,适合编写灵活的Web应用程序。

在Beego中使用Hadoop和HBase进行大数据存储和查询 在Beego中使用Hadoop和HBase进行大数据存储和查询 Jun 22, 2023 am 10:21 AM

随着大数据时代的到来,数据处理和存储变得越来越重要,如何高效地管理和分析大量的数据也成为企业面临的挑战。Hadoop和HBase作为Apache基金会的两个项目,为大数据存储和分析提供了一种解决方案。本文将介绍如何在Beego中使用Hadoop和HBase进行大数据存储和查询。一、Hadoop和HBase简介Hadoop是一个开源的分布式存储和计算系统,它可

Ruby怎么使用Mysql2连接操作MySQL Ruby怎么使用Mysql2连接操作MySQL Apr 17, 2023 pm 10:07 PM

Ruby操作MySQL使用mysql2连接mysql并操作mysql。geminstallmysql2连接mysql建立连接:require'mysql2'conn=Mysql2::Client.new({host:'192.168.200.73',username:'root',password:'P@ssword1!'})接受的连接选项包括:Mysql2::Clie

为什么 Python、Ruby 等语言弃用了自增运算符? 为什么 Python、Ruby 等语言弃用了自增运算符? May 11, 2023 pm 04:37 PM

许多人也许会注意到一个现象,那就是在一些现代编程语言(当然,并不是指“最近出现”的编程语言)中,自增和自减运算符被取消了。也就是说,在这些语言中不存在​​i++​​​或​​j--​​​这样的表达,而是只存在​​i+=1​​​或​​j-=1​​这样的表达方式了。本回答将从设计哲学这个角度上探讨这一现象产生的背景与原因。严格来说,说"i++正在消失"也许有失偏颇,因为主流编程语言中似乎只有Python、Rust和Swift不支持自增自减运算符。​当我第一次接触Python时,这也

如何使用MySQL和Ruby实现一个简单的数据转换功能 如何使用MySQL和Ruby实现一个简单的数据转换功能 Sep 21, 2023 am 08:07 AM

如何使用MySQL和Ruby实现一个简单的数据转换功能在实际的开发工作中,经常需要进行数据转换,将一个数据格式转化为另一个数据格式。本文将介绍如何使用MySQL和Ruby来实现一个简单的数据转换功能,并且提供具体的代码示例。首先,我们需要安装并配置MySQL和Ruby环境。确保已经安装了MySQL数据库,并可以通过命令行或其他工具连接到数据库。另外,需要安装

如何使用MySQL和Ruby实现一个简单的异步任务调度功能 如何使用MySQL和Ruby实现一个简单的异步任务调度功能 Sep 20, 2023 am 10:48 AM

如何使用MySQL和Ruby实现一个简单的异步任务调度功能以前的Web应用程序大多采用同步的方式来处理请求,即用户发送请求后,服务器会立即处理完请求并返回结果。然而,随着应用程序复杂度的增加,同步方式的处理效率逐渐变得低下,因此异步任务调度成为了现代Web应用程序中常见的需求。本文将介绍如何使用MySQL和Ruby来实现一个简单的异步任务调度功能,包括任务的

如何使用MySQL和Ruby实现一个简单的数据查询分析功能 如何使用MySQL和Ruby实现一个简单的数据查询分析功能 Sep 21, 2023 pm 04:36 PM

如何使用MySQL和Ruby实现一个简单的数据查询分析功能在当今大数据时代,数据分析已经成为了许多领域中不可或缺的一部分。而在进行数据分析时,最常见的操作就是进行数据查询。本文将介绍如何使用MySQL和Ruby编程语言来实现一个简单的数据查询分析功能,并且给出具体的代码示例。首先,我们需要安装MySQL和Ruby的开发环境。MySQL是一个开源的关系型数据库

Redis在Ruby开发中的应用:如何缓存复杂数据结构 Redis在Ruby开发中的应用:如何缓存复杂数据结构 Jul 30, 2023 pm 08:58 PM

Redis在Ruby开发中的应用:如何缓存复杂数据结构概述:Redis是一种高性能的键值存储系统,被广泛应用于缓存数据和临时存储。在Ruby开发中,我们可以使用Redis来缓存复杂数据结构,从而提高系统的性能和响应速度。本文将介绍如何在Ruby中使用Redis缓存复杂数据结构,并提供代码示例。背景:在开发过程中,我们经常遇到需要处理复杂数据结构的情况。例如,

See all articles