只是记录遇到的问题及解决方法: 1.安装教程:http://dogdogfish.com/2014/04/26/installing- hadoop -2-4-on-ubuntu-14-04/ 2.新版本的 hadoop streaming 库地址:$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.5.1.jar 3.使用hadoop streaming
只是记录遇到的问题及解决方法:
1.安装教程:http://dogdogfish.com/2014/04/26/installing-hadoop-2-4-on-ubuntu-14-04/
2.新版本的hadoop streaming 库地址:$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.5.1.jar
3.使用hadoop streaming 同一键值需要自己合并
4.Hadoop Core(hadoop-core-*.jar) is renamed Hadoop Common. location:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.5.1.jar
报错:
1.java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1 解决方案:程序有错, 检查 http://localhost:50070/logs/userlogs/下的日志看container日志中的stderr,然后具体问题具体解决
原文地址:Hadoop2.5.1使用笔记, 感谢原作者分享。