CDH5.2 Cloudera Manager installer安装配置
一、机器准备 1、3台主机名:server202 server203 server204 另外server201用来搭建本地yum的repos,不参与集群。 2、配置server202的ssh免密码登录到其他机器(包括自己) 3、3个机器节点的/etc/hosts加入 192.168.2.201 archive.cloudera.com 192.168.2.20
一、机器准备
1、3台主机名:server202 server203 server204
另外server201用来搭建本地yum的repos,不参与集群。
2、配置server202的ssh免密码登录到其他机器(包括自己)
3、3个机器节点的/etc/hosts加入
192.168.2.201 archive.cloudera.com
192.168.2.202 server202
192.168.2.203 server203
192.168.2.204 server204
4、其他一些相关操作:
关闭防火墙
chkconfig iptables off
service iptables stop
通过Cloudera Manager installer安装必须设置/etc/selinux/config中的SELINUX=disabled,你需要重启机器。
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
配置163,sohu源
cd /etc/yum.repos.d/
#Centos5
wget?http://mirrors.163.com/.help/CentOS5-Base-163.repo
#wget?http://mirrors.sohu.com/help/CentOS-Base-sohu.repo
#Centos6
wget?http://mirrors.163.com/.help/CentOS6-Base-163.repo
yum?makecache
同步时间
ntpdate -u pool.ntp.org
安装CDH5.2必须安装python26版本,通过yum安装。
python yum -y install python26 python26-devel
有可能会提示zlib的错误,同时python中通过下面编译来重新配置。
yum install zlib
vi Modules/Setup Modules/Setup.dist
搜索zlib,去掉 #zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz 前面的注释。
./configure
makemake install
二、构建本地repos(server201机器)
下载CDH5.2的tarball安装包,后面的manager通过tarball来安装
http://archive.cloudera.com/cdh5/repo-as-tarball/5.2.0/cdh5.2.0-centos5.tar.gz
http://archive.cloudera.com/cdh5/repo-as-tarball/5.2.0/cdh5.2.0-centos6.tar.gz
http://archive.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos5.tar.gz
http://archive.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos6.tar.gz
注意如果是centos6的操作系统还需要下载?navigator-keytrustee5目录,通过wget来下载
wget --mirror -p --convert-links -P /disk/cloudera/t?http://archive-primary.cloudera.com/navigator-keytrustee5/
这里是通过server201中nginx代理本地repos,并将archive.cloudera.com指定到192.168.2.201,这样你就不用修改yum的repos的网址。要不你得手动指定自己的repos地址。
nginx的默认配置没打开显示目录下的全部文件,你可以通过下面的配置在nginx.conf中启用。
autoindex on;#自动显示目录
autoindex_exact_size off;#人性化方式显示文件大小否则以byte显示
autoindex_localtime on;#按服务器时间显示,否则以gmt时间显示
搭建本地repos的相关配置命令
#centos5
mkdir -p /disk/cloudera/cdh5/redhat/5/x86_64
cd /disk/cloudera/cdh5/redhat/5/x86_64
tar -xzvf /disk/cloudera/download/cdh5.2.0-centos5.tar.gz
mkdir -p?/disk/cloudera/cm5/redhat/5/x86_64
cd?/disk/cloudera/cm5/redhat/5/x86_64
tar -xzvf /disk/cloudera/download/cm5.2.0-centos5.tar.gz
#centos6
mkdir -p /disk/cloudera/cdh5/redhat/6/x86_64
cd /disk/cloudera/cdh5/redhat/6/x86_64
tar -xzvf /disk/cloudera/download/cdh5.2.0-centos6.tar.gz
mkdir -p?/disk/cloudera/cm5/redhat/6/x86_64
cd?/disk/cloudera/cm5/redhat/6/x86_64
tar -xzvf /disk/cloudera/download/cm5.2.0-centos6.tar.gz
mkdir -p /disk/cloudera/redhat/cdh/
cd /disk/cloudera/redhat/cdh
cp /disk/cloudera/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera .
配置成功后,确保http://archive.cloudera.com能够访问到你的本地的repos。
三、cloudera manager 安装
1、下载cloudera-manager-installer.bin?:?http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
2、执行cloudera-manager-installer.bin,安装上面的步骤来安装即可。一般指需要几分钟时间。因为走得是本地repos源。注意要关闭SELINUX=disabled。安装的错误相关日志在/var/log/cloudera-manager-installer/这边可以查看。
3、安装后访问?http://server202:7180 来访问,默认账号密码:admin admin
四、通过cloudera manager安装集群
按照界面的导航流程操作即可。
1、选择 Cloudera Express 版本。
2、列出可安装的包及服务
3、指定CDH主机:
server202
server203
server204
4、选择存储库。选择方法:使用数据包。 CDH版本选择5.2。其他不要去修改。
5、选址安装oracle JDK 安装默认配置即可。
6、设置ssh登录的key,上传的是server202的私钥。
7、进入安装的流程。可以详细看到每个节点的安装情况。错误日志等,可以回滚重新安装。一般只要十几分钟。如果有错误,按照错误提示的内容修复即可。我碰到的错误就是python26依赖问题。
8、安装成功后,会自动对集群的机器的一些服务环境检查,根据检查结果自己来修复。一般都会检查通过。
9、选择需要安装的服务,这里你最大话安装,选择全部。
10、配置集群的角色。一般按照默认即可。注意,有些角色没有默认配置主机,你需要自己配置需要安装的主机位置。数据库,配置文件都按照默认即可。首次配置也需要十几分钟时间。
11、一切正常后,就进入管理面板,可以看到安装的服务。
安装成功后截图:
参考:
本站haddop文章?http://www.lifeba.org/?s=hadoop
http://blog.csdn.net/yangzhaohui168/article/details/33403555
http://www.cnblogs.com/thinkCoding/p/3567408.html
http://www.doc88.com/p-0042075356791.html
http://www.tuicool.com/articles/AnuiUra
http://wenku.baidu.com/link?url=6u94qotuyNG9n0rcgd9fNLQ_i4qhDyE3lN-7wo3oW1nZ9NSvnswNsCN007uOEBVccnjpVfW2YwBbgp1MgSz6O8RkztV-feyD2V40ghY2SES
原文地址:CDH5.2 Cloudera Manager installer安装配置, 感谢原作者分享。
以上就是CDH5.2 Cloudera Manager installer安装配置的内容,更多相关内容请关注PHP中文网(www.php.cn)!

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









INNODBのフルテキスト検索機能は非常に強力であり、データベースクエリの効率と大量のテキストデータを処理する能力を大幅に改善できます。 1)INNODBは、倒立インデックスを介してフルテキスト検索を実装し、基本的および高度な検索クエリをサポートします。 2)一致を使用してキーワードを使用して、ブールモードとフレーズ検索を検索、サポートします。 3)最適化方法には、単語セグメンテーションテクノロジーの使用、インデックスの定期的な再構築、およびパフォーマンスと精度を改善するためのキャッシュサイズの調整が含まれます。

この記事では、MySQLのAlter Tableステートメントを使用して、列の追加/ドロップ、テーブル/列の名前の変更、列データ型の変更など、テーブルを変更することについて説明します。

はい、MySQLはWindows 7にインストールできます。MicrosoftはWindows 7のサポートを停止しましたが、MySQLは引き続き互換性があります。ただし、インストールプロセス中に次のポイントに注意する必要があります。WindowsのMySQLインストーラーをダウンロードしてください。 MySQL(コミュニティまたはエンタープライズ)の適切なバージョンを選択します。インストールプロセス中に適切なインストールディレクトリと文字セットを選択します。ルートユーザーパスワードを設定し、適切に保ちます。テストのためにデータベースに接続します。 Windows 7の互換性とセキュリティの問題に注意してください。サポートされているオペレーティングシステムにアップグレードすることをお勧めします。

完全なテーブルスキャンは、MySQLでインデックスを使用するよりも速い場合があります。特定のケースには以下が含まれます。1)データボリュームは小さい。 2)クエリが大量のデータを返すとき。 3)インデックス列が高度に選択的でない場合。 4)複雑なクエリの場合。クエリプランを分析し、インデックスを最適化し、オーバーインデックスを回避し、テーブルを定期的にメンテナンスすることにより、実際のアプリケーションで最良の選択をすることができます。

記事では、証明書の生成と検証を含むMySQL用のSSL/TLS暗号化の構成について説明します。主な問題は、セルフ署名証明書のセキュリティへの影響を使用することです。[文字カウント:159]

記事では、MySQLワークベンチやPHPMyAdminなどの人気のあるMySQL GUIツールについて説明し、初心者と上級ユーザーの機能と適合性を比較します。[159文字]

クラスター化されたインデックスと非クラスター化されたインデックスの違いは次のとおりです。1。クラスター化されたインデックスは、インデックス構造にデータを保存します。これは、プライマリキーと範囲でクエリするのに適しています。 2.非クラスター化されたインデックスストアは、インデックスキー値とデータの行へのポインターであり、非プリマリーキー列クエリに適しています。

記事では、MySQLで大規模なデータセットを処理するための戦略について説明します。これには、パーティション化、シャード、インデックス作成、クエリ最適化などがあります。
