Hadoop中运行WordCount

WBOY
發布: 2016-06-07 16:35:54
原創
1874 人瀏覽過

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop环境下的第一个实例WordCount。 在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:这时注意程序是在文件系统dfs运行的,创建的文件

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop环境下的第一个实例WordCount。

在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统:

1、准备需要进行wordcount的文件
首先在”/home/hadoop”目录下创建文件夹”file”。接着创建两个文本文件file1.txt和file2.txt,使file1.txt内容为”Hello world”,而file2.txt的内容为”Hello hadoop”。

2、在HDFS上创建输入文件夹input

hadoop fs -mkdir input 
登入後複製

3、将准备的测试文件上传到dfs文件系统中的input目录下,

hadoop fs -put /home/hadoop/file1.txt input
hadoop fs -put /home/hadoop/file2.txt input
登入後複製

4、运行wordcount

说明:hadoop-0.20.2-examples.jar是Hadoop中自带的实例,Hadoop版本不一样,实例名称可能有区别,大家在目录中自行查看。

hadoop jar hadoop-0.20.2-examples.jar wordcount input outputo
登入後複製

5、查看结果

hadoop dfs -cat outputo/part-r-00000 
登入後複製

6、进入bin目录停止stop-all.sh。

Hadoop中运行WordCount 上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop […]Hadoop中运行WordCount
相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板