ホームページ データベース mysql チュートリアル 利用ruby通过Thrift接口批量插入HBase

利用ruby通过Thrift接口批量插入HBase

Jun 07, 2016 pm 05:28 PM
hbase ruby

因为工作中使用fluentd采集日志,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没

因为工作中使用fluentd采集日志,,需要使用ruby通过thrift接口插入数据到hbase中,网上搜索了一下,发现很多都是插入单个数据,没办法只好参考python语言写的批量插入修改了代码,终于搞定。

$:.unshift File.expand_path('gen-rb', File.dirname(__FILE__))
require 'thrift'
require File.expand_path('gen-rb/hbase', File.dirname(__FILE__))
transport = Thrift::BufferedTransport.new(Thrift::Socket.new("localhost", "9090"))
transport.open
client = Apache::Hadoop::Hbase::Thrift::Hbase::Client.new(Thrift::BinaryProtocol.new(transport))

## Get Table meta data

def newpass( len )
    chars = ("a".."z").to_a + ("A".."Z").to_a + ("0".."9").to_a
    newpass = ""
    1.upto(len) { |i| newpass     return newpass
end
columnvalue = "v"*10
batchmutations = []
starttime=Time.now
1000.times do |x|

  mutations=[]
  rowkey ="RK_"     5.times do |i|
        mutations "f1:" columnvalue)
    end
    batchmutations rowkey,:mutations => mutations)
end
client.mutateRows("testdb2", batchmutations)

linux

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Beego で Hadoop と HBase を使用してビッグ データ ストレージとクエリを実行する Beego で Hadoop と HBase を使用してビッグ データ ストレージとクエリを実行する Jun 22, 2023 am 10:21 AM

ビッグデータ時代の到来に伴い、データの処理と保存の重要性がますます高まっており、大量のデータをいかに効率的に管理、分析するかが企業にとっての課題となっています。 Apache Foundation の 2 つのプロジェクトである Hadoop と HBase は、ビッグ データのストレージと分析のためのソリューションを提供します。この記事では、ビッグデータのストレージとクエリのために Beego で Hadoop と HBase を使用する方法を紹介します。 1. Hadoop と HBase の概要 Hadoop は、オープンソースの分散ストレージおよびコンピューティング システムです。

Golang と Ruby の類似点と相違点の詳細な分析 Golang と Ruby の類似点と相違点の詳細な分析 Jun 01, 2024 pm 08:46 PM

Go と Ruby の主な違いは、Go は軽量な並列処理と効率的なメモリ管理をサポートする静的型付きのコンパイル言語であり、同時実行性の高いアプリケーションの作成に適しているのに対し、Ruby は真の並列処理をサポートする動的型付きのインタープリター言語ですが、メモリ管理がサポートされていないことです。手動制御が必要であり、柔軟な Web アプリケーションの作成に適しています。

Python、Ruby、その他の言語でインクリメント演算子が廃止されたのはなぜですか? Python、Ruby、その他の言語でインクリメント演算子が廃止されたのはなぜですか? May 11, 2023 pm 04:37 PM

多くの人は、一部の最新のプログラミング言語 (もちろん、「最近の」プログラミング言語を指すわけではありません) で、インクリメント演算子とデクリメント演算子がキャンセルされているという現象に気づいたかもしれません。言い換えれば、これらの言語には i++ や j-- のような表現はなく、i+=1 または j-=1 のような表現があるだけです。この回答では、この現象の背景と理由を設計哲学の観点から探ります。主流のプログラミング言語の中でインクリメント演算子とデクリメント演算子をサポートしていないのは Python、Rust、Swift だけと思われるため、厳密に言うと「i++ が消滅する」と言うのは偏見かもしれません。私が初めて Python に触れたときも、

Ruby は MySQL を操作するために Mysql2 接続をどのように使用しますか? Ruby は MySQL を操作するために Mysql2 接続をどのように使用しますか? Apr 17, 2023 pm 10:07 PM

Rubyはmysql2を使ってMySQLを操作し、mysqlに接続してmysqlを操作します。 geminstallmysql2 は mysql に接続して接続を確立します: require'mysql2'conn=Mysql2::Client.new({host:'192.168.200.73',username:'root',password:'P@ssword1!'}) 受け入れられた接続オプションには次のものが含まれます: Mysql2::Clie

MySQLとRubyを使った簡単なデータ変換機能の実装方法 MySQLとRubyを使った簡単なデータ変換機能の実装方法 Sep 21, 2023 am 08:07 AM

MySQLとRubyを使って簡単なデータ変換機能を実装する方法 実際の開発作業では、あるデータ形式を別のデータ形式に変換するデータ変換が必要になることがよくあります。この記事では、MySQL と Ruby を使用して簡単なデータ変換機能を実装する方法と、具体的なコード例を紹介します。まず、MySQL と Ruby 環境をインストールして構成する必要があります。 MySQL データベースがインストールされており、コマンド ラインまたはその他のツールを介してデータベースに接続できることを確認してください。さらに、インストールする必要があります

MySQLとRubyを使って簡単なデータ分析レポート機能を実装する方法 MySQLとRubyを使って簡単なデータ分析レポート機能を実装する方法 Sep 20, 2023 pm 05:09 PM

MySQL と Ruby を使用して簡単なデータ分析レポート機能を実装する方法 はじめに: 今日のデータドリブンの時代において、データ分析は企業の意思決定と開発において重要な役割を果たしています。データ分析の重要な部分であるデータ分析レポートは、データを整理、視覚化、解釈する上で非常に重要です。この記事では、MySQL と Ruby を使用して簡単なデータ分析レポート機能を実装する方法と、対応するコード例を紹介します。 1. データベース設計とテーブル作成はデータ分析とレポート機能を実現する必要がある

MySQLとRubyを使った簡単な非同期タスクスケジューリング機能の実装方法 MySQLとRubyを使った簡単な非同期タスクスケジューリング機能の実装方法 Sep 20, 2023 am 10:48 AM

MySQL と Ruby を使用して単純な非同期タスク スケジューリング機能を実装する方法 以前の Web アプリケーションのほとんどは、同期メソッドを使用してリクエストを処理していました。つまり、ユーザーがリクエストを送信した後、サーバーは即座にリクエストを処理し、結果を返します。 。ただし、アプリケーションの複雑さが増すにつれて、同期メソッドの処理効率は徐々に非効率になるため、非同期タスク スケジューリングは、最新の Web アプリケーションでは一般的な要件となっています。この記事では、MySQL と Ruby を使用して、タスクを含む簡単な非同期タスク スケジューリング機能を実装する方法を紹介します。

さらに詳しく: PHP に代わる Web サイト構築 さらに詳しく: PHP に代わる Web サイト構築 Mar 21, 2024 am 08:51 AM

今日のインターネット時代において、ウェブサイト構築は多くの人にとって不可欠なスキルの 1 つとなっています。 PHP は広く使用されているバックエンド プログラミング言語として知られており、多くの開発者によって使用されています。ただし、Web サイトを構築するには PHP 以外にも多くのオプションがあります。この記事では、PHP 以外の Web サイト構築オプションを詳しく説明し、具体的なコード例を示します。 PythonPython は、Web 開発で広く使用されている強力で習得が簡単なプログラミング言語です。 Pythonの使用

See all articles