Hadoop中运行WordCount

WBOY
发布: 2016-06-07 16:35:54
原创
1874 人浏览过

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop环境下的第一个实例WordCount。 在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:这时注意程序是在文件系统dfs运行的,创建的文件

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop环境下的第一个实例WordCount。

在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统:

1、准备需要进行wordcount的文件
首先在”/home/hadoop”目录下创建文件夹”file”。接着创建两个文本文件file1.txt和file2.txt,使file1.txt内容为”Hello world”,而file2.txt的内容为”Hello hadoop”。

2、在HDFS上创建输入文件夹input

hadoop fs -mkdir input 
登录后复制

3、将准备的测试文件上传到dfs文件系统中的input目录下,

hadoop fs -put /home/hadoop/file1.txt input
hadoop fs -put /home/hadoop/file2.txt input
登录后复制

4、运行wordcount

说明:hadoop-0.20.2-examples.jar是Hadoop中自带的实例,Hadoop版本不一样,实例名称可能有区别,大家在目录中自行查看。

hadoop jar hadoop-0.20.2-examples.jar wordcount input outputo
登录后复制

5、查看结果

hadoop dfs -cat outputo/part-r-00000 
登录后复制

6、进入bin目录停止stop-all.sh。

Hadoop中运行WordCount 上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop […]Hadoop中运行WordCount
相关标签:
来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板