首頁 資料庫 mysql教程 CDH5.2 Cloudera Manager installer安装配置

CDH5.2 Cloudera Manager installer安装配置

Jun 07, 2016 pm 04:41 PM
cloudera manager

一、机器准备 1、3台主机名:server202 server203 server204 另外server201用来搭建本地yum的repos,不参与集群。 2、配置server202的ssh免密码登录到其他机器(包括自己) 3、3个机器节点的/etc/hosts加入 192.168.2.201 archive.cloudera.com 192.168.2.20


一、机器准备

1、3台主机名:server202 server203 server204

另外server201用来搭建本地yum的repos,不参与集群。

2、配置server202的ssh免密码登录到其他机器(包括自己)

3、3个机器节点的/etc/hosts加入

192.168.2.201 archive.cloudera.com

192.168.2.202 server202

192.168.2.203 server203

192.168.2.204 server204

4、其他一些相关操作:

关闭防火墙

chkconfig iptables off

service iptables stop

通过Cloudera Manager installer安装必须设置/etc/selinux/config中的SELINUX=disabled,你需要重启机器。

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

配置163,sohu源

cd /etc/yum.repos.d/

#Centos5

wget?http://mirrors.163.com/.help/CentOS5-Base-163.repo

#wget?http://mirrors.sohu.com/help/CentOS-Base-sohu.repo

#Centos6

wget?http://mirrors.163.com/.help/CentOS6-Base-163.repo

yum?makecache

同步时间

ntpdate -u pool.ntp.org

安装CDH5.2必须安装python26版本,通过yum安装。

python yum -y install python26 python26-devel

有可能会提示zlib的错误,同时python中通过下面编译来重新配置。

yum install zlib

vi Modules/Setup Modules/Setup.dist
搜索zlib,去掉 #zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz 前面的注释。
./configure
make

make install

二、构建本地repos(server201机器)

下载CDH5.2的tarball安装包,后面的manager通过tarball来安装

http://archive.cloudera.com/cdh5/repo-as-tarball/5.2.0/cdh5.2.0-centos5.tar.gz

http://archive.cloudera.com/cdh5/repo-as-tarball/5.2.0/cdh5.2.0-centos6.tar.gz

http://archive.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos5.tar.gz

http://archive.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos6.tar.gz

注意如果是centos6的操作系统还需要下载?navigator-keytrustee5目录,通过wget来下载

wget --mirror -p --convert-links -P /disk/cloudera/t?http://archive-primary.cloudera.com/navigator-keytrustee5/

这里是通过server201中nginx代理本地repos,并将archive.cloudera.com指定到192.168.2.201,这样你就不用修改yum的repos的网址。要不你得手动指定自己的repos地址。

nginx的默认配置没打开显示目录下的全部文件,你可以通过下面的配置在nginx.conf中启用。

autoindex on;#自动显示目录

autoindex_exact_size off;#人性化方式显示文件大小否则以byte显示

autoindex_localtime on;#按服务器时间显示,否则以gmt时间显示


搭建本地repos的相关配置命令


#centos5

mkdir -p /disk/cloudera/cdh5/redhat/5/x86_64

cd /disk/cloudera/cdh5/redhat/5/x86_64

tar -xzvf /disk/cloudera/download/cdh5.2.0-centos5.tar.gz

mkdir -p?/disk/cloudera/cm5/redhat/5/x86_64

cd?/disk/cloudera/cm5/redhat/5/x86_64

tar -xzvf /disk/cloudera/download/cm5.2.0-centos5.tar.gz

#centos6


mkdir -p /disk/cloudera/cdh5/redhat/6/x86_64

cd /disk/cloudera/cdh5/redhat/6/x86_64

tar -xzvf /disk/cloudera/download/cdh5.2.0-centos6.tar.gz


mkdir -p?/disk/cloudera/cm5/redhat/6/x86_64

cd?/disk/cloudera/cm5/redhat/6/x86_64

tar -xzvf /disk/cloudera/download/cm5.2.0-centos6.tar.gz

mkdir -p /disk/cloudera/redhat/cdh/

cd /disk/cloudera/redhat/cdh

cp /disk/cloudera/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera .

配置成功后,确保http://archive.cloudera.com能够访问到你的本地的repos。

三、cloudera manager 安装

1、下载cloudera-manager-installer.bin?:?http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin


2、执行cloudera-manager-installer.bin,安装上面的步骤来安装即可。一般指需要几分钟时间。因为走得是本地repos源。注意要关闭SELINUX=disabled。安装的错误相关日志在/var/log/cloudera-manager-installer/这边可以查看。

3、安装后访问?http://server202:7180 来访问,默认账号密码:admin admin

四、通过cloudera manager安装集群

按照界面的导航流程操作即可。

1、选择 Cloudera Express 版本。

2、列出可安装的包及服务

3、指定CDH主机:

server202

server203

server204

4、选择存储库。选择方法:使用数据包。 CDH版本选择5.2。其他不要去修改。

5、选址安装oracle JDK 安装默认配置即可。

6、设置ssh登录的key,上传的是server202的私钥。

7、进入安装的流程。可以详细看到每个节点的安装情况。错误日志等,可以回滚重新安装。一般只要十几分钟。如果有错误,按照错误提示的内容修复即可。我碰到的错误就是python26依赖问题。

8、安装成功后,会自动对集群的机器的一些服务环境检查,根据检查结果自己来修复。一般都会检查通过。

9、选择需要安装的服务,这里你最大话安装,选择全部。

10、配置集群的角色。一般按照默认即可。注意,有些角色没有默认配置主机,你需要自己配置需要安装的主机位置。数据库,配置文件都按照默认即可。首次配置也需要十几分钟时间。

11、一切正常后,就进入管理面板,可以看到安装的服务。

安装成功后截图:

参考:

本站haddop文章?http://www.lifeba.org/?s=hadoop

http://blog.csdn.net/yangzhaohui168/article/details/33403555

http://www.cnblogs.com/thinkCoding/p/3567408.html

http://www.doc88.com/p-0042075356791.html

http://www.tuicool.com/articles/AnuiUra

http://wenku.baidu.com/link?url=6u94qotuyNG9n0rcgd9fNLQ_i4qhDyE3lN-7wo3oW1nZ9NSvnswNsCN007uOEBVccnjpVfW2YwBbgp1MgSz6O8RkztV-feyD2V40ghY2SES

以上就是CDH5.2 Cloudera Manager installer安装配置的内容,更多相关内容请关注PHP中文网(www.php.cn)!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora:巫婆樹的耳語 - 如何解鎖抓鉤
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1665
14
CakePHP 教程
1424
52
Laravel 教程
1321
25
PHP教程
1269
29
C# 教程
1249
24
MySQL的角色:Web應用程序中的數據庫 MySQL的角色:Web應用程序中的數據庫 Apr 17, 2025 am 12:23 AM

MySQL在Web應用中的主要作用是存儲和管理數據。 1.MySQL高效處理用戶信息、產品目錄和交易記錄等數據。 2.通過SQL查詢,開發者能從數據庫提取信息生成動態內容。 3.MySQL基於客戶端-服務器模型工作,確保查詢速度可接受。

說明InnoDB重做日誌和撤消日誌的作用。 說明InnoDB重做日誌和撤消日誌的作用。 Apr 15, 2025 am 12:16 AM

InnoDB使用redologs和undologs確保數據一致性和可靠性。 1.redologs記錄數據頁修改,確保崩潰恢復和事務持久性。 2.undologs記錄數據原始值,支持事務回滾和MVCC。

MySQL:世界上最受歡迎的數據庫的簡介 MySQL:世界上最受歡迎的數據庫的簡介 Apr 12, 2025 am 12:18 AM

MySQL是一種開源的關係型數據庫管理系統,主要用於快速、可靠地存儲和檢索數據。其工作原理包括客戶端請求、查詢解析、執行查詢和返回結果。使用示例包括創建表、插入和查詢數據,以及高級功能如JOIN操作。常見錯誤涉及SQL語法、數據類型和權限問題,優化建議包括使用索引、優化查詢和分錶分區。

MySQL的位置:數據庫和編程 MySQL的位置:數據庫和編程 Apr 13, 2025 am 12:18 AM

MySQL在數據庫和編程中的地位非常重要,它是一個開源的關係型數據庫管理系統,廣泛應用於各種應用場景。 1)MySQL提供高效的數據存儲、組織和檢索功能,支持Web、移動和企業級系統。 2)它使用客戶端-服務器架構,支持多種存儲引擎和索引優化。 3)基本用法包括創建表和插入數據,高級用法涉及多表JOIN和復雜查詢。 4)常見問題如SQL語法錯誤和性能問題可以通過EXPLAIN命令和慢查詢日誌調試。 5)性能優化方法包括合理使用索引、優化查詢和使用緩存,最佳實踐包括使用事務和PreparedStatemen

為什麼要使用mysql?利益和優勢 為什麼要使用mysql?利益和優勢 Apr 12, 2025 am 12:17 AM

選擇MySQL的原因是其性能、可靠性、易用性和社區支持。 1.MySQL提供高效的數據存儲和檢索功能,支持多種數據類型和高級查詢操作。 2.採用客戶端-服務器架構和多種存儲引擎,支持事務和查詢優化。 3.易於使用,支持多種操作系統和編程語言。 4.擁有強大的社區支持,提供豐富的資源和解決方案。

MySQL與其他編程語言:一種比較 MySQL與其他編程語言:一種比較 Apr 19, 2025 am 12:22 AM

MySQL与其他编程语言相比,主要用于存储和管理数据,而其他语言如Python、Java、C 则用于逻辑处理和应用开发。MySQL以其高性能、可扩展性和跨平台支持著称,适合数据管理需求,而其他语言在各自领域如数据分析、企业应用和系统编程中各有优势。

MySQL:從小型企業到大型企業 MySQL:從小型企業到大型企業 Apr 13, 2025 am 12:17 AM

MySQL適合小型和大型企業。 1)小型企業可使用MySQL進行基本數據管理,如存儲客戶信息。 2)大型企業可利用MySQL處理海量數據和復雜業務邏輯,優化查詢性能和事務處理。

MySQL索引基數如何影響查詢性能? MySQL索引基數如何影響查詢性能? Apr 14, 2025 am 12:18 AM

MySQL索引基数对查询性能有显著影响:1.高基数索引能更有效地缩小数据范围,提高查询效率;2.低基数索引可能导致全表扫描,降低查询性能;3.在联合索引中,应将高基数列放在前面以优化查询。

See all articles