查询MYSQL和查询HBASE速度比较

WBOY
풀어 주다: 2016-06-07 16:42:01
원래의
1157명이 탐색했습니다.

Mysql,关系型数据库; HBase,NoSql数据库。 查询Mysql和查询HBase,到底哪个速度快呢? 与一些真正的大牛讨论时,他们说HBase写入速度,可以达到每秒1W。而HBase的理想速度为每秒10W。 来个实验说明一下,此实验只能表明,当前环境下运行状态。我的实验效

Mysql,关系型数据库;

HBase,NoSql数据库。

查询Mysql和查询HBase,到底哪个速度快呢?

与一些真正的大牛讨论时,他们说HBase写入速度,可以达到每秒1W。而HBase的理想速度为每秒10W。

来个实验说明一下,此实验只能表明,当前环境下运行状态。我的实验效果,没有到1W,还在优化中…

环境:

有3台虚拟机,运行Hadoop集群;3台虚拟机也在跑HBase:master,node1,node2

master上,同时安装了Mysql数据库。

目前有这样一个需求:

有一堆文本文件,每个文本文件内,存储着日志;

每一行为一条记录;

现在需要,逐行读取记录,并根据记录中的mac地址和sn号,去从HBase或Mysql中,获取账号信息。

然后合并成一条记录,写入HBase的“SHUJU”表内。

Mysql表结构:

id,mac,sn,addtime,account

HBase表结构:

ROWKEY为mac+sn,mac,sn,account,addtime

测试效果如下:

每隔一分钟,执行一次count操作,统计当前数据条数。

select count(1) from SHUJU

结果如下

=====================================

Mysql上,第一次测试。

开始时间11:03:15

28135(条数)

39014

49659

264564

274379

285174(条数)

结束时间11.26.15

285174 – 28135 = 257039

257039 / 23 = 11 175.608695652

也是1W以上。。。

=====================================

查询的 HBase库

开始时间14:43:00

5622(条数)

16671

25062

34848

46652

58001

69690

79908(条数)

结束 14:50:00

79908 – 5622 = 74 286

74286 /7 = 10 612 每分钟个数。

=====================================

mysql

开始 14:58:30

19248(条数)

26526

36389

45837

51945

62497

72319

82695(条数)

结束时间:15:04:30

间隔 七分钟

82695 – 19248 = 63 447

93447 / 7 = 9 063.8571428571

======================================

可以看出在HBase中速度,比mysql中速度略快一点。

但是总的速度,还是有待提高。。。

文章来自:? 大牛笔记

CSDN博客地址: http://blog.csdn.net/weixuehao/article/details/41647185

원천:php.cn
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
최신 이슈
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿