让python在hadoop上跑起来-Python教程-PHP中文网

首页

后端开发

Python教程

让python在hadoop上跑起来

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 10, 2016 pm 03:06 PM

hadoop python

本文实例讲解的是一般的hadoop入门程序“WordCount”，就是首先写一个map程序用来将输入的字符串分割成单个的单词，然后reduce这些单个的单词，相同的单词就对其进行计数，不同的单词分别输出，结果输出每一个单词出现的频数。

　　注意：关于数据的输入输出是通过sys.stdin（系统标准输入）和sys.stdout（系统标准输出）来控制数据的读入与输出。所有的脚本执行之前都需要修改权限，否则没有执行权限，例如下面的脚本创建之前使用“chmod +x mapper.py”

1.mapper.py

#!/usr/bin/env python
import sys

for line in sys.stdin: # 遍历读入数据的每一行
  
  line = line.strip() # 将行尾行首的空格去除
  words = line.split() #按空格将句子分割成单个单词
  for word in words:
    print '%s\t%s' %(word, 1)

登录后复制

2.reducer.py

#!/usr/bin/env python

from operator import itemgetter
import sys

current_word = None # 为当前单词
current_count = 0 # 当前单词频数
word = None

for line in sys.stdin:
  words = line.strip() # 去除字符串首尾的空白字符
  word, count = words.split('\t') # 按照制表符分隔单词和数量
  
  try:
    count = int(count) # 将字符串类型的‘1'转换为整型1
  except ValueError:
    continue

  if current_word == word: # 如果当前的单词等于读入的单词
    current_count += count # 单词频数加1
  else:
    if current_word: # 如果当前的单词不为空则打印其单词和频数
      print '%s\t%s' %(current_word, current_count) 
    current_count = count # 否则将读入的单词赋值给当前单词，且更新频数
    current_word = word

if current_word == word:
  print '%s\t%s' %(current_word, current_count)

登录后复制

在shell中运行以下脚本，查看输出结果：

echo "foo foo quux labs foo bar zoo zoo hying" | /home/wuying/mapper.py | sort -k 1,1 | /home/wuying/reducer.py

# echo是将后面“foo ****”字符串输出，并利用管道符“|”将输出数据作为mapper.py这个脚本的输入数据，并将mapper.py的数据输入到reducer.py中，其中参数sort -k 1,1是将reducer的输出内容按照第一列的第一个字母的ASCII码值进行升序排序

登录后复制

其实，我觉得后面这个reducer.py处理单词频数有点麻烦，将单词存储在字典里面，单词作为‘key'，每一个单词出现的频数作为'value'，进而进行频数统计感觉会更加高效一点。因此，改进脚本如下：

mapper_1.py

但是，貌似写着写着用了两个循环，反而效率低了。关键是不太明白这里的current_word和current_count的作用，如果从字面上老看是当前存在的单词，那么怎么和遍历读取的word和count相区别？

下面看一些脚本的输出结果：

我们可以看到，上面同样的输入数据，同样的shell换了不同的reducer，结果后者并没有对数据进行排序，实在是费解～

让Python代码在hadoop上跑起来！

一、准备输入数据

接下来，先下载三本书：

$ mkdir -p tmp/gutenberg
$ cd tmp/gutenberg
$ wget http://www.gutenberg.org/ebooks/20417.txt.utf-8
$ wget http://www.gutenberg.org/files/5000/5000-8.txt
$ wget http://www.gutenberg.org/ebooks/4300.txt.utf-8

登录后复制

然后把这三本书上传到hdfs文件系统上：

 $ hdfs dfs -mkdir /user/${whoami}/input # 在hdfs上的该用户目录下创建一个输入文件的文件夹
 $ hdfs dfs -put /home/wuying/tmp/gutenberg/*.txt /user/${whoami}/input # 上传文档到hdfs上的输入文件夹中

登录后复制

寻找你的streaming的jar文件存放地址，注意2.6的版本放到share目录下了，可以进入hadoop安装目录寻找该文件：

$ cd $HADOOP_HOME
$ find ./ -name "*streaming*"

登录后复制

然后就会找到我们的share文件夹中的hadoop-straming*.jar文件:

寻找速度可能有点慢，因此你最好是根据自己的版本号到对应的目录下去寻找这个streaming文件，由于这个文件的路径比较长，因此我们可以将它写入到环境变量：

$ vi ~/.bashrc # 打开环境变量配置文件
# 在里面写入streaming路径
export STREAM=$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar

登录后复制

由于通过streaming接口运行的脚本太长了，因此直接建立一个shell名称为run.sh来运行：

hadoop jar $STREAM \
-files ./mapper.py,./reducer.py \
-mapper ./mapper.py \
-reducer ./reducer.py \
-input /user/$(whoami)/input/*.txt \
-output /user/$(whoami)/output

登录后复制

然后"source run.sh"来执行mapreduce。结果就响当当的出来啦。这里特别要提醒一下：

1、一定要把本地的输入文件转移到hdfs系统上面，否则无法识别你的input内容；

2、一定要有权限，一定要在你的hdfs系统下面建立你的个人文件夹否则就会被denied，是的，就是这两个错误搞得我在服务器上面痛不欲生，四处问人的感觉真心不如自己清醒对待来的好；

3、如果你是第一次在服务器上面玩hadoop，建议在这之前请在自己的虚拟机或者linux系统上面配置好伪分布式然后入门hadoop来的比较不那么头疼，之前我并不知道我在服务器上面运维没有给我运行的权限，后来在自己的虚拟机里面运行一下example实例以及wordcount才找到自己的错误。

好啦，然后不出意外，就会complete啦，你就可以通过如下方式查看计数结果：

以上就是本文的全部内容，希望对大家学习python软件编程有所帮助。

本站声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

热AI工具

热工具

热门话题

gmail邮箱登陆入口在哪里

7433

CakePHP 教程

1359

steam的账户名称是什么格式

win11激活密钥永久

显示更多

Related knowledge

C语言 sum 的作用是什么？ Apr 03, 2025 pm 02:21 PM

C语言中没有内置求和函数，需自行编写。可通过遍历数组并累加元素实现求和：循环版本：使用for循环和数组长度计算求和。指针版本：使用指针指向数组元素，通过自增指针遍历高效求和。动态分配数组版本：动态分配数组并自行管理内存，确保释放已分配内存以防止内存泄漏。

distinctIdistinguish有关系吗 Apr 03, 2025 pm 10:30 PM

distinct 和 distinguish 虽都与区分有关，但用法不同：distinct（形容词）描述事物本身的独特性，用于强调事物之间的差异；distinguish（动词）表示区分行为或能力，用于描述辨别过程。在编程中，distinct 常用于表示集合中元素的唯一性，如去重操作；distinguish 则体现在算法或函数的设计中，如区分奇数和偶数。优化时，distinct 操作应选择合适的算法和数据结构，而 distinguish 操作应优化区分逻辑效率，并注意编写清晰可读的代码。

谁得到更多的Python或JavaScript？ Apr 04, 2025 am 12:09 AM

Python和JavaScript开发者的薪资没有绝对的高低，具体取决于技能和行业需求。1.Python在数据科学和机器学习领域可能薪资更高。2.JavaScript在前端和全栈开发中需求大，薪资也可观。3.影响因素包括经验、地理位置、公司规模和特定技能。

如何理解 C 语言中的 !x？ Apr 03, 2025 pm 02:33 PM

!x 的理解!x 是 C 语言中的逻辑非运算符，对 x 的值进行布尔取反，即真变假，假变真。但要注意，C 语言中真假由数值而非布尔类型表示，非零视为真，只有 0 才视为假。因此，!x 对负数的处理与正数相同，都视为真。

C语言中 sum 是什么意思？ Apr 03, 2025 pm 02:36 PM

C语言中没有内置的sum函数用于求和，但可以通过以下方法实现：使用循环逐个累加元素；使用指针逐个访问并累加元素；对于大数据量，考虑并行计算。

H5页面制作是否需要持续维护 Apr 05, 2025 pm 11:27 PM

H5页面需要持续维护，这是因为代码漏洞、浏览器兼容性、性能优化、安全更新和用户体验提升等因素。有效维护的方法包括建立完善的测试体系、使用版本控制工具、定期监控页面性能、收集用户反馈和制定维护计划。

爱心代码复制粘贴爱心代码免费复制粘贴手机 Apr 04, 2025 am 06:48 AM

复制粘贴代码并非不可行，但需谨慎对待。代码中环境、库、版本等依赖项可能与当前项目不匹配，导致错误或不可预料的结果。务必确保上下文一致，包括文件路径、依赖库和 Python 版本。此外，复制粘贴特定库的代码时，可能需要安装该库及其依赖项。常见的错误包括路径错误、版本冲突和代码风格不一致。性能优化需根据代码原用途和约束重新设计或重构。理解并调试复制的代码至关重要，切勿盲目复制粘贴。