首页 > 数据库 > mysql教程 > Hadoop数据迁入到Hive

Hadoop数据迁入到Hive

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
发布: 2016-06-07 17:04:12
原创
1019 人浏览过

由于很多数据在hadoop平台,当从hadoop平台的数据迁移到hive目录下时,由于hive默认的分隔符是\,为了平滑迁移,需要在创建表格时

由于很多数据在Hadoop平台,当从hadoop平台的数据迁移到hive目录下时,由于hive默认的分隔符是\,为了平滑迁移,需要在创建表格时指定数据的分割符号,语法如下:

create table test(uid string,name string)row format delimited fields terminated by '\t';

通过这种方式,完成分隔符的指定。

然后通过hadoop fs -cp或者hadoop distcp 进行文件夹复制。

由于数据复制的成本比较高,时间比较慢,当不需要复制数据的时候,可以直接采取移动的方式将hadoop数据转移到hive,,hadoop  fs -mv src dest。

一个比较简单的方法是直接创建 external table,语法如下:

create table test(uid string,name string)row format delimited fields terminated by '\t' location 'hdfs';

通过这种方式,避免数据的移动带来时间损耗,提高运行的效率。

linux

相关标签:
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板