Go 언어에서 HBase를 사용하여 효율적인 NoSQL 데이터베이스 애플리케이션 구현

빅데이터 시대가 도래하면서 대용량 데이터의 저장과 처리가 특히 중요해졌습니다. NoSQL 데이터베이스 측면에서 현재 널리 사용되는 솔루션은 HBase입니다. Go 언어는 정적으로 강력한 형식의 프로그래밍 언어로서 간단한 구문과 뛰어난 성능으로 인해 클라우드 컴퓨팅, 웹 사이트 개발, 데이터 과학 등의 분야에서 점점 더 많이 사용되고 있습니다. 이 기사에서는 Go 언어에서 HBase를 사용하여 효율적인 NoSQL 데이터베이스 애플리케이션을 구현하는 방법을 소개합니다.

1. HBase 소개

HBase는 확장성과 안정성이 뛰어난 컬럼 기반 분산 데이터 저장 시스템입니다. Hadoop 클러스터에서 실행되며 매우 대규모의 데이터 저장 및 처리 작업을 처리할 수 있습니다. HBase의 데이터 모델은 열 기반 NoSQL 데이터베이스인 Google의 Bigtable과 유사합니다. HBase는 다음과 같은 특징을 가지고 있습니다.

• Hadoop 분산 컴퓨팅 플랫폼을 기반으로 수천 대의 머신에 PB 수준의 데이터를 저장할 수 있습니다.
• 빠른 데이터 읽기 및 쓰기를 지원하며 저장 및 액세스가 매우 빠릅니다.
• 임의 읽기, 스캔 읽기, 전체 테이블 스캔 등과 같은 다양한 데이터 액세스 방법을 지원합니다.
• 다중 버전 데이터의 저장 및 조회를 지원하고 시계열 데이터를 효과적으로 처리할 수 있습니다.
• 수평 확장을 지원하며 저장 및 처리 기능을 쉽게 확장할 수 있습니다.
• 데이터 처리 및 변환을 지원하는 일련의 필터 및 인코더를 제공합니다.

2. Go 언어는 HBase를 작동합니다

Go 언어는 HBase에서 작업을 구현하기 위한 Thrift 라이브러리를 제공합니다. Thrift는 Java, Python, Ruby, C++ 등을 포함한 여러 언어로 코드를 생성할 수 있는 Apache 기반의 교차 언어 프레임워크입니다. Thrift를 사용하면 개발자는 간단한 정의 언어를 사용하여 RPC 서비스를 정의하고 클라이언트 측 및 서버 측 코드를 생성할 수 있습니다. Go 언어에서는 개발을 위해 thriftgo 라이브러리를 사용할 수 있습니다.

2.1 Thrift 설치

Thrift를 사용하기 전에 먼저 Thrift 컴파일러를 설치해야 합니다. Thrift 공식 웹사이트에서 해당 버전의 컴파일러를 다운로드한 후 압축을 풀고 환경 변수에 추가할 수 있습니다.

2.2 HBase의 Thrift 인터페이스 정의

Thrift 정의 파일은 IDL(Interface Definition Language, 인터페이스 정의 언어)이라고 합니다. HBase의 Thrift 인터페이스 파일은 Hbase.thrift입니다. 공식 문서나 github에서 git clone 명령을 통해 다운로드할 수 있습니다.

$ git clone https://github.com/apache/hbase

HBase의 모든 Thrift 인터페이스 정의는 Hbase.thrift 파일에서 찾을 수 있으며 필요에 따라 사용하도록 선택할 수 있습니다. 예를 들어 다음은 테이블을 나열하는 인터페이스 정의입니다.

struct TColumnDescriptor {

1: required binary name,
2: binary value,
3: bool __isset.value,
4: optional CompressionType compression,
5: optional int32 maxVersions,
6: optional int32 minVersions,
7: optional int32 ttl,
8: optional bool inMemory,
9: optional BloomType bloomFilterType,
10: optional int32 scope,
11: optional bool __isset.compression,
12: optional bool __isset.maxVersions,
13: optional bool __isset.minVersions,
14: optional bool __isset.ttl,
15: optional bool __isset.inMemory,
16: optional bool __isset.bloomFilterType,
17: optional bool __isset.scope

}

TColumnDescriptor는 열 패밀리 이름, 압축 유형, 최대 버전, 만료 시간을 포함하는 열 패밀리의 정의로 간주될 수 있습니다. , 메모리 저장 및 기타 속성. Go 언어에서는 Thrift 컴파일러를 사용하여 Hbase.thrift 파일을 Go 언어 코드로 컴파일해야 합니다. 컴파일하기 전에 thriftgo 라이브러리를 설치해야 합니다.

$ go get -u github.com/apache/thrift/lib/go/thrift

그런 다음 HBase 디렉터리에서 다음 명령을 실행하여 Go 언어 코드를 생성합니다.

$ thrift --gen go src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift

명령을 실행하면 생성된 gen-go 디렉터리에 생성된 모든 Go 언어 코드가 표시됩니다. 문서.

2.3 HBase 서버에 연결

HBase 서버에 연결하려면 전송 링크를 생성하고 연결 풀을 사용하여 링크를 관리해야 합니다. 연결 풀은 여러 전송 링크를 유지 관리할 수 있으며 이러한 링크를 재사용하면 전체 처리량을 향상시킬 수 있습니다. 다음은 HBase에 연결하기 위한 코드 예제입니다.

package main

import (

"context"
"fmt"
"sync"

"git.apache.org/thrift.git/lib/go/thrift"
"hbase"

)

type pool struct {

hosts    []string         // HBase服务器地址列表
timeout  thrift.TDuration // 连接超时时间
size     int              // 连接池大小
pool     chan *conn       // 连接池
curConns int              // 当前连接池中的连接数

lock sync.RWMutex

}

type conn struct {

trans hbase.THBaseServiceClient // HBase客户端
used  bool                      // 是否被使用

}

// NewPool은 연결 풀
func NewPool(hosts []string, timeout int, size int) *pool {

p := &pool{
    hosts:    hosts,
    timeout:  thrift.NewTDuration(timeout * int(thrift.MILLISECOND)),
    size:     size,
    pool:     make(chan *conn, size),
    curConns: 0,
}

p.lock.Lock()
defer p.lock.Unlock()

for i := 0; i < size; i++ {
    p.newConn()
}

return p

}

// AddConn 연결 추가
func (p *pool) AddConn() {

p.lock.Lock()
defer p.lock.Unlock()

if p.curConns < p.size {
    p.newConn()
}

}

// 닫기 연결 풀 닫기
func (p *pool) Close() {

p.lock.Lock()
defer p.lock.Unlock()

for i := 0; i < p.curConns; i++ {
    c := <-p.pool
    _ = c.trans.Close()
}

}

// GetConn 연결 가져오기
func (p pool) GetConn() (conn, error) {

select {
case conn := <-p.pool:
    if conn.used {
        return nil, fmt.Errorf("Connection is already in use")
    }

    return conn, nil
default:
    if p.curConns >= p.size {
        return nil, fmt.Errorf("Connection pool is full")
    }

    p.lock.Lock()
    defer p.lock.Unlock()

    return p.newConn(), nil
}

}

// PutConn 반환 연결
func (p pool) PutConn(conn conn) {

conn.used = false
p.pool <- conn

}

// newConn 연결 만들기
func (p pool) newConn() conn {

socket := thrift.NewTSocketTimeout(p.hosts[0], p.timeout)
transport := thrift.NewTFramedTransport(socket)
protocol := thrift.NewTBinaryProtocolTransport(transport, true, true)
client := hbase.NewTHBaseServiceClientFactory(transport, protocol)

if err := transport.Open(); err != nil {
    return nil
}

p.curConns++

return &conn{
    trans: client,
    used:  false,
}

}

사용 위의 코드 예시에서는 HBase에 접속하기 위한 Connection Pool을 생성하는 것이 가능합니다. 호스트, 제한 시간, 크기 등의 매개변수를 설정한 후 NewPool 메서드를 사용하여 연결 풀을 생성할 수 있습니다. 연결 풀의 연결은 GetConn 메서드를 사용하여 얻을 수 있으며 PutConn 메서드에서 반환됩니다.

2.4 데이터 연산

HBase 서버에 접속한 후 커넥션 풀에 있는 커넥션을 이용하여 데이터 연산을 할 수 있습니다. 다음은 데이터 작업의 몇 가지 예입니다.

// 테이블 목록 가져오기
func GetTableNames(c *conn) ([]string, error) {

names, err := c.trans.GetTableNames(context.Background())
if err != nil {
    return nil, err
}

return names, nil

}

// 데이터 행 가져오기
func GetRow (c conn, tableName 문자열, rowKey 문자열) (hbase.TRowResult_, 오류) {

// 构造Get请求
get := hbase.NewTGet()
get.Row = []byte(rowKey)
get.TableName = []byte(tableName)

result, err := c.trans.Get(context.Background(), get)
if err != nil {
    return nil, err
}

if len(result.Row) == 0 {
    return nil, fmt.Errorf("Row %s in table %s not found", rowKey, tableName)
}

return result, nil

}

// 데이터 행 쓰기
func PutRow(c *conn, tableName 문자열, rowKey 문자열, 열 map[ string]map [string][]byte,

         timestamp int64) error {
// 构造Put请求
put := hbase.NewTPut()
put.Row = []byte(rowKey)
put.TableName = []byte(tableName)

for cf, cols := range columns {
    family := hbase.NewTColumnValueMap()

    for col, val := range cols {
        family.Set(map[string][]byte{
            col: val,
        })
    }

    put.ColumnValues[[]byte(cf)] = family
}

put.Timestamp = timestamp

_, err := c.trans.Put(context.Background(), put)
if err != nil {
    return err
}

return nil

}

GetTableNames 메서드는 테이블 목록을 가져올 수 있고, GetRow 메서드는 데이터 행을 가져올 수 있으며, PutRow 메서드는 데이터 행을 쓸 수 있어야 합니다. TPut 요청은 PutRow 메서드에서 구성되어야 한다고 언급했습니다.

3. Summary

이 글에서는 Go 언어에서 HBase를 사용하여 효율적인 NoSQL 데이터베이스 애플리케이션을 구현하는 방법을 소개합니다. Thrift 인터페이스 정의부터 HBase 서버 연결, 데이터 운영까지 Go 언어를 사용하여 HBase를 운영하는 방법을 단계별로 설명합니다. Go 언어의 고성능과 Thrift 프레임워크의 언어 간 기능을 통해 효율적인 NoSQL 데이터베이스 애플리케이션을 구축할 수 있습니다.

위 내용은 Go 언어에서 HBase를 사용하여 효율적인 NoSQL 데이터베이스 애플리케이션 구현의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!