데이터 베이스 MySQL 튜토리얼 利用ruby通过Thrift接口批量插入HBase

利用ruby通过Thrift接口批量插入HBase

Jun 07, 2016 pm 05:28 PM
hbase ruby

因为工作中使用fluentd采集日志,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没

因为工作中使用fluentd采集日志,,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没办法只好参考python语言写的批量插入修改了代码,终于搞定。

$:.unshift File.expand_path('gen-rb', File.dirname(__FILE__))
require 'thrift'
require File.expand_path('gen-rb/hbase', File.dirname(__FILE__))
transport = Thrift::BufferedTransport.new(Thrift::Socket.new("localhost", "9090"))
transport.open
client = Apache::Hadoop::Hbase::Thrift::Hbase::Client.new(Thrift::BinaryProtocol.new(transport))

## Get Table meta data

def newpass( len )
    chars = ("a".."z").to_a + ("A".."Z").to_a + ("0".."9").to_a
    newpass = ""
    1.upto(len) { |i| newpass     return newpass
end
columnvalue = "v"*10
batchmutations = []
starttime=Time.now
1000.times do |x|

  mutations=[]
  rowkey ="RK_"     5.times do |i|
        mutations "f1:" columnvalue)
    end
    batchmutations rowkey,:mutations => mutations)
end
client.mutateRows("testdb2", batchmutations)

linux

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

빅 데이터 저장 및 쿼리를 위해 Beego에서 Hadoop 및 HBase 사용 빅 데이터 저장 및 쿼리를 위해 Beego에서 Hadoop 및 HBase 사용 Jun 22, 2023 am 10:21 AM

빅데이터 시대가 도래하면서 데이터의 처리와 저장이 더욱 중요해지고 있으며, 대용량 데이터를 어떻게 효율적으로 관리하고 분석할 것인가가 기업의 과제가 되었습니다. Apache Foundation의 두 가지 프로젝트인 Hadoop과 HBase는 빅데이터 저장 및 분석을 위한 솔루션을 제공합니다. 이 기사에서는 빅데이터 저장 및 쿼리를 위해 Beego에서 Hadoop 및 HBase를 사용하는 방법을 소개합니다. 1. Hadoop 및 HBase 소개 Hadoop은 오픈 소스 분산 스토리지 및 컴퓨팅 시스템입니다.

Python, Ruby 및 기타 언어에서 증가 연산자를 더 이상 사용하지 않는 이유는 무엇입니까? Python, Ruby 및 기타 언어에서 증가 연산자를 더 이상 사용하지 않는 이유는 무엇입니까? May 11, 2023 pm 04:37 PM

많은 사람들이 현상을 발견했을 수 있습니다. 즉, 일부 현대 프로그래밍 언어(물론 "최근" 프로그래밍 언어를 말하는 것이 아님)에서 증가 및 감소 연산자가 취소되는 현상입니다. 즉, 이들 언어에는 i++ 또는 j--와 같은 표현은 없고, i+=1 또는 j-=1만 그런 표현이 있습니다. 이번 답변에서는 이러한 현상의 배경과 이유를 디자인 철학의 관점에서 살펴보겠습니다. 엄밀히 말하면 주류 프로그래밍 언어 중 Python, Rust, Swift만이 증가 및 감소 연산자를 지원하지 않는 것 같기 때문에 "i++가 사라지고 있다"고 말하는 것은 편파적일 수 있습니다. 제가 처음 Python을 접했을 때도 마찬가지였습니다.

Golang과 Ruby의 유사점과 차이점에 대한 심층 분석 Golang과 Ruby의 유사점과 차이점에 대한 심층 분석 Jun 01, 2024 pm 08:46 PM

Go와 Ruby의 주요 차이점은 Go는 경량 병렬성과 효율적인 메모리 관리를 지원하는 정적으로 유형이 지정된 컴파일 언어이며 동시성 애플리케이션을 작성하는 데 적합하다는 것입니다. Ruby는 진정한 병렬성을 지원하지만 메모리 관리를 지원하는 동적으로 유형이 지정된 해석 언어입니다. 수동 제어가 필요하며 유연한 웹 애플리케이션을 작성하는 데 적합합니다.

Ruby는 MySQL을 작동하기 위해 Mysql2 연결을 어떻게 사용합니까? Ruby는 MySQL을 작동하기 위해 Mysql2 연결을 어떻게 사용합니까? Apr 17, 2023 pm 10:07 PM

Ruby는 mysql2를 이용해 MySQL을 동작시켜 mysql에 접속하여 mysql을 동작시킨다. geminstallmysql2는 mysql에 연결하여 연결을 설정합니다. require'mysql2'conn=Mysql2::Client.new({host:'192.168.200.73',username:'root',password:'P@ssword1!'}) 허용되는 연결 옵션은 다음과 같습니다: Mysql2::Clie

MySQL과 Ruby를 사용하여 간단한 데이터 분석 보고서 기능을 구현하는 방법 MySQL과 Ruby를 사용하여 간단한 데이터 분석 보고서 기능을 구현하는 방법 Sep 20, 2023 pm 05:09 PM

MySQL 및 Ruby를 사용하여 간단한 데이터 분석 보고 기능을 구현하는 방법 소개: 오늘날의 데이터 중심 시대에 데이터 분석은 기업의 의사 결정 및 개발에 중요한 역할을 합니다. 데이터 분석의 중요한 부분인 데이터 분석 보고서는 데이터를 구성하고 시각화하고 해석하는 데 매우 중요합니다. 이 기사에서는 MySQL과 Ruby를 사용하여 간단한 데이터 분석 보고서 기능을 구현하는 방법을 소개하고 해당 코드 예제를 제공합니다. 1. 데이터베이스 설계 및 테이블 생성은 데이터 분석 및 보고 기능을 구현해야 합니다.

MySQL과 Ruby를 사용하여 간단한 데이터 변환 기능을 구현하는 방법 MySQL과 Ruby를 사용하여 간단한 데이터 변환 기능을 구현하는 방법 Sep 21, 2023 am 08:07 AM

MySQL과 Ruby를 사용하여 간단한 데이터 변환 기능을 구현하는 방법 실제 개발 작업에서는 하나의 데이터 형식을 다른 형식으로 변환하기 위해 데이터 변환이 필요한 경우가 많습니다. 이 기사에서는 MySQL과 Ruby를 사용하여 간단한 데이터 변환 기능을 구현하는 방법을 소개하고 구체적인 코드 예제를 제공합니다. 먼저 MySQL과 Ruby 환경을 설치하고 구성해야 합니다. MySQL 데이터베이스가 설치되어 있고 명령줄이나 기타 도구를 통해 데이터베이스에 연결할 수 있는지 확인하세요. 또한, 설치해야 할

Redis 및 Ruby를 사용하여 실시간 로그 분석 기능을 개발하는 방법 Redis 및 Ruby를 사용하여 실시간 로그 분석 기능을 개발하는 방법 Sep 21, 2023 am 08:57 AM

Redis와 Ruby를 활용하여 실시간 로그 분석 기능을 개발하는 방법 인터넷이 발달하면서 점점 더 많은 정보가 로그 형태로 기록됩니다. 이러한 로그 분석은 매우 중요하며 시스템 작동을 이해하고, 문제를 발견하고, 성능을 최적화하는 데 도움이 될 수 있습니다. 이번 글에서는 Redis와 Ruby를 활용하여 실시간 로그 분석 기능을 개발하는 방법을 소개하겠습니다. Redis 및 Ruby 설치 먼저 Redis 및 Ruby 환경을 설치해야 합니다. Redis는 인메모리 데이터베이스입니다.

springboot에 hbase를 통합하는 방법 springboot에 hbase를 통합하는 방법 May 30, 2023 pm 04:31 PM

종속성: org.springframework.dataspring-data-hadoop-hbase2.5.0.RELEASEorg.apache.hbasehbase-client1.1.2org.springframework.dataspring-data-hadoop2.5.0.RELEASE 구성을 추가하는 공식적인 방법은 xml을 사용하는 것입니다. simple 다시 작성하면 다음과 같습니다. @ConfigurationpublicclassHBaseConfiguration{@Value("${hbase.zooke

See all articles