Maison base de données tutoriel mysql Hadoop2.3.0详细安装过程

Hadoop2.3.0详细安装过程

Jun 07, 2016 pm 04:01 PM
hadoop Préface 安装 详细 processus

前言: Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large d

前言:
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
1,系统架构
集群角色:
2.2 用户目录创建
创建hadoop运行账户:
2.3 配置ssh免密码登陆
参考文章地址:http://blog.csdn.net/ab198604/article/details/8250461
2.3.1 每个节点分别产生密钥
# 提示:
2.3.2 在data01(192.168.52.129)上面执行:
useradd hadoop #设置hadoop用户组
2.3.3 在data01(192.168.52.130)上面执行:
useradd hadoop #设置hadoop用户组
2.3.4 构造3个通用的authorized_keys
在name01(192.168.52.128)上操作:
2.3.5 解决ssh name01失败的问题
[hadoop@data01 ~]$ ssh name01
2.3.6 验证name01、data01、data02任何ssh免密码登录
[hadoop@data02 ~]$ ssh name01
3.2,安装hadoop
下载软件包:
3.3,hadoop配置文件
hadoop群集涉及配置文件:hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-env.sh slaves yarn-site.xml
3.3,格式化文件系统
在name01主库上面执行 hadoop namenode -format操作,格式化hdfs文件系统。
3.4,hadoop管理
3.4.1 格式化完成后,开始启动hadoop 程序启动hadoop 的命令脚本都在$HADOOP_HOME/sbin/下,下面的所有命令都不再带有完整路径名称:
distribute-exclude.sh hdfs-config.sh slaves.sh start-dfs.cmd start-yarn.sh stop-dfs.cmd stop-yarn.sh
3.4.2,第一种,一次性全部启动:
执行start-all.sh 启动hadoop,观察控制台的输出,可以看到正在启动进程,分别是namenode、datanode、secondarynamenode、jobtracker、tasktracker,一共5 个,待执行完毕后,并不意味着这5 个进程成功启动,上面仅仅表示系统正在启动进程而已。我们使用jdk 的命令jps 查看进程是否已经正确启动。执行以下jps,如果看到了这5 个进程,说明hadoop 真的启动成功了。如果缺少一个或者多个,那就进入到“Hadoop的常见启动错误”章节寻找原因了。
3.4.2.1,检查后台各个节点运行的hadoop进程
[hadoop@name01 hadoop]$ jps
3.4.2.3,再去data02节点下检查
[hadoop@data02 ~]$ jps
进入http://192.168.52.128:50070/dfshealth.html#tab-overview,看集群基本信息,如下图所示:
\进入http://192.168.52.128:50070/dfshealth.html#tab-datanode,看datanode信息,如下图所示:
\进入http://192.168.52.128:50070/logs/,查看所有日志信息,如下图所示:
\3.4.2.5,关闭hadoop 的命令是stop-all.sh,如下所示:
[hadoop@name01 src]$ /home/hadoop/src/hadoop-2.3.0/sbin/stop-all.sh
3.4.3,第二种,分别启动HDFS 和yarn:
执行命令start-dfs.sh,是单独启动hdfs。执行完该命令后,通过jps 能够看到NameNode、DataNode、SecondaryNameNode 三个进程启动了,该命令适合于只执行hdfs
3.4.3.2 再启动yarn
执行命令start-yarn.sh,可以单独启动资源管理器的服务器端和客户端进程,关闭的命令就是stop-yarn.sh
3.4.3.3 依次关闭,先关闭yarn再关闭HDFS
[hadoop@name01 sbin]$ stop-yarn.sh
3.4.4,第三种,分别启动各个进程:
[root@book0 bin]# jps
3.5,另外一种检查状态hadoop集群的状态
:用"hadoop dfsadmin -report"来查看hadoop集群的状态
参考网址:
http://blog.csdn.net/hguisu/article/details/7237395

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Article chaud

Repo: Comment relancer ses coéquipiers
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD
R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
1 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Article chaud

Repo: Comment relancer ses coéquipiers
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD
R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
1 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Tags d'article chaud

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Solution au problème selon lequel le pack de langue chinoise ne peut pas être installé sur le système Win11 Solution au problème selon lequel le pack de langue chinoise ne peut pas être installé sur le système Win11 Mar 09, 2024 am 09:48 AM

Solution au problème selon lequel le pack de langue chinoise ne peut pas être installé sur le système Win11

Impossible d'installer les ajouts d'invités dans VirtualBox Impossible d'installer les ajouts d'invités dans VirtualBox Mar 10, 2024 am 09:34 AM

Impossible d'installer les ajouts d'invités dans VirtualBox

Que dois-je faire si Baidu Netdisk est téléchargé avec succès mais ne peut pas être installé ? Que dois-je faire si Baidu Netdisk est téléchargé avec succès mais ne peut pas être installé ? Mar 13, 2024 pm 10:22 PM

Que dois-je faire si Baidu Netdisk est téléchargé avec succès mais ne peut pas être installé ?

Comment installer des applications Android sur Linux ? Comment installer des applications Android sur Linux ? Mar 19, 2024 am 11:15 AM

Comment installer des applications Android sur Linux ?

Mar 22, 2024 pm 04:40 PM

Comment installer Podman sur Ubuntu 24.04 Comment installer Podman sur Ubuntu 24.04 Mar 22, 2024 am 11:26 AM

Comment installer Podman sur Ubuntu 24.04

Guide complet pour installer le service FTPS sur le système Linux Guide complet pour installer le service FTPS sur le système Linux Mar 19, 2024 am 11:39 AM

Guide complet pour installer le service FTPS sur le système Linux

Étapes détaillées pour installer le langage Go sur un ordinateur Win7 Étapes détaillées pour installer le langage Go sur un ordinateur Win7 Mar 27, 2024 pm 02:00 PM

Étapes détaillées pour installer le langage Go sur un ordinateur Win7

See all articles