Rumah pangkalan data tutorial mysql Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建

Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建

Jun 07, 2016 pm 04:33 PM
hadoop hdfs berlatih membina Jadual kandungan kelompok

目录结构 Hadoop集群(CDH4)实践之 (0) 前言 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)实践之 (2) HBaseZookeeper搭建 Hadoop集群(CDH4)实践之 (3) Hive搭建 Hadoop集群(CHD4)实践之 (4) Oozie搭建 Hadoop集群(CHD4)实践之 (5) Sqoop安

目录结构
Hadoop集群(CDH4)实践之 (0) 前言
Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建
Hadoop集群(CDH4)实践之 (2) HBase&Zookeeper搭建
Hadoop集群(CDH4)实践之 (3) Hive搭建
Hadoop集群(CHD4)实践之 (4) Oozie搭建
Hadoop集群(CHD4)实践之 (5) Sqoop安装

本文内容
Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建

参考资料
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/CDH4-Installation-Guide.html

环境准备
OS: CentOS 6.4 x86_64
Servers:
hadoop-master: 172.17.20.230 内存10G
- namenode

hadoop- secondarynamenode: 172.17.20.234 内存10G
- secondarybackupnamenode,jobtracker

hadoop-node-1: 172.17.20.231 内存10G
- datanode,tasktracker

hadoop-node-2: 172.17.20.232 内存10G
- datanode,tasktracker

hadoop-node-3: 172.17.20.233 内存10G
- datanode,tasktracker

对以上角色做一些简单的介绍:
namenode - 整个HDFS的命名空间管理服务
secondarynamenode - 可以看做是namenode的冗余服务
jobtracker - 并行计算的job管理服务
datanode - HDFS的节点服务
tasktracker - 并行计算的job执行服务

本文定义的规范,避免在配置多台服务器上产生理解上的混乱:
所有直接以 $ 开头,没有跟随主机名的命令,都代表需要在所有的服务器上执行,除非后面有单独的//开头或在标题说明。

1. 选择最好的安装包
为了更方便和更规范的部署Hadoop集群,我们采用Cloudera的集成包。
因为Cloudera对Hadoop相关的系统做了很多优化,避免了很多因各个系统间版本不符产生的很多Bug。
这也是很多资深Hadoop管理员所推荐的。
https://ccp.cloudera.com/display/DOC/Documentation/

2. 安装Java环境
由于整个Hadoop项目主要是通过Java开发完成的,因此需要JVM的支持。
登陆www.oracle.com(需要创建一个ID),从以下地址下载一个64位的JDK,如jdk-7u45-linux-x64.rpm

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

$ sudo rpm -ivh jdk-7u45-linux-x64.rpm
$ sudo vim /etc/profile.d/java.sh

 
export JAVA_HOME=/usr/java/jdk1.7.0_45
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
Salin selepas log masuk

$ sudo chmod +x /etc/profile.d/java.sh
$ source /etc/profile

3. 配置Hadoop安装源
$ sudo rpm --import http://archive.cloudera.com/cdh4/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera
$ cd /etc/yum.repos.d/
$ sudo wget http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/cloudera-cdh4.repo

4. 安装Hadoop相关套件,选择MRv1的框架支持
$ sudo yum install hadoop-hdfs-namenode //仅在hadoop-master上安装

$ sudo yum install hadoop-hdfs-secondarynamenode //仅在hadoop-secondary上安装
$ sudo yum install hadoop-0.20-mapreduce-jobtracker //仅在hadoop-secondary上安装

$ sudo yum install hadoop-hdfs-datanode //仅在hadoop-node上安装
$ sudo yum install hadoop-0.20-mapreduce-tasktracker //仅在hadoop-node上安装

$ sudo yum install hadoop-client

5. 创建Hadoop配置文件
$ sudo cp -r /etc/hadoop/conf.dist /etc/hadoop/conf.my_cluster

6. 激活新的配置文件
$ sudo alternatives --verbose --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50
$ sudo alternatives --set hadoop-conf /etc/hadoop/conf.my_cluster
$ cd /etc/hadoop/conf

7. 添加hosts记录并修改对应的主机名
$ sudo vim /etc/hosts

 
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.17.20.230 hadoop-master
172.17.20.234 hadoop-secondary
172.17.20.231 hadoop-node-1
172.17.20.232 hadoop-node-2
172.17.20.233 hadoop-node-3
Salin selepas log masuk

8. 安装LZO支持
$ cd /etc/yum.repos.d
$ sudo wget http://archive.cloudera.com/gplextras/redhat/6/x86_64/gplextras/cloudera-gplextras4.repo
$ sudo yum install hadoop-lzo-cdh4

9. 配置hadoop/conf下的文件
$ sudo vim /etc/hadoop/conf/masters

 
hadoop-master
Salin selepas log masuk

$ sudo vim /etc/hadoop/conf/slaves

 
hadoop-node-1
hadoop-node-2
hadoop-node-3
Salin selepas log masuk

10. 创建hadoop的HDFS目录
$ sudo mkdir -p /data/{1,2,3,4}/mapred/local
$ sudo chown -R mapred:hadoop /data/{1,2,3,4}/mapred/local

$ sudo mkdir -p /data/1/dfs/nn /nfsmount/dfs/nn /data/1/dfs/ns /data/{1,2,3,4}/dfs/dn
$ sudo chown -R hdfs:hdfs /data/1/dfs/nn /nfsmount/dfs/nn /data/1/dfs/ns /data/{1,2,3,4}/dfs/dn
$ sudo chmod 700 /data/1/dfs/nn /nfsmount/dfs/nn /data/1/dfs/ns /data/{1,2,3,4}/dfs/dn

$ sudo mkdir /data/tmp
$ sudo chmod 1777 /data/tmp

11. 配置core-site.xml
$ sudo vim /etc/hadoop/conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="http://heylinux.com/archives/configuration.xsl"?>
 fs.defaultFS
 hdfs://hadoop-master:8020
 hadoop.tmp.dir
 /data/tmp/hadoop-${user.name}
  hadoop.proxyuser.oozie.hosts
  *
  hadoop.proxyuser.oozie.groups
  *
  hadoop.proxyuser.hive.hosts
  *
  hadoop.proxyuser.hive.groups
  *
Salin selepas log masuk

12. 配置hdfs-site.xml
$ sudo vim /etc/hadoop/conf/hdfs-site.xml

 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="http://heylinux.com/archives/configuration.xsl"?>
 dfs.namenode.name.dir
 /data/1/dfs/nn,/nfsmount/dfs/nn
  dfs.namenode.http-address
  hadoop-master:50070
  fs.namenode.checkpoint.period
  3600
  fs.namenode.checkpoint.dir
  /data/1/dfs/ns
  dfs.namenode.secondary.http-address
  hadoop-secondary:50090
  dfs.replication
  3
 dfs.permissions.superusergroup
 supergroup
 dfs.datanode.data.dir
 /data/1/dfs/dn,/data/2/dfs/dn,/data/3/dfs/dn
  dfs.datanode.max.xcievers
  4096
Salin selepas log masuk


13. 配置mapred-site.xml
$ sudo vim /etc/hadoop/conf/mapred-site.xml

 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="http://heylinux.com/archives/configuration.xsl"?>
 mapred.job.tracker
 hadoop-secondary:8021
 mapred.local.dir
 /data/1/mapred/local,/data/2/mapred/local,/data/3/mapred/local
Salin selepas log masuk

14. 格式化HDFS分布式文件系统
$ sudo -u hdfs hadoop namenode -format //仅在hadoop-master上执行一次

15. 启动Hadoop进程
在hadoop-master上启动namenode
$ sudo /etc/init.d//etc/init.d/hadoop-hdfs-namenode start

在hadoop-secondary上启动secondarynamenode,jobtracker
$ sudo /etc/init.d/hadoop-hdfs-secondarynamenode start
$ sudo /etc/init.d/hadoop-0.20-mapreduce-jobtracker start

在hadoop-node上启动datanode,tasktracker
$ sudo /etc/init.d/hadoop-hdfs-datanode start
$ sudo /etc/init.d/hadoop-0.20-mapreduce-tasktracker start

16. 创建mapred.system.dir以及/tmp HDFS目录
以下HDFS操作仅需在任意一台主机上执行一次
$ sudo -u hdfs hadoop fs -mkdir /tmp
$ sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
$ sudo -u hdfs hadoop fs -mkdir -p /var/lib/hadoop-hdfs/cache/mapred/mapred/staging
$ sudo -u hdfs hadoop fs -chmod 1777 /var/lib/hadoop-hdfs/cache/mapred/mapred/staging
$ sudo -u hdfs hadoop fs -chown -R mapred /var/lib/hadoop-hdfs/cache/mapred
$ sudo -u hdfs hadoop fs -ls -R /
$ sudo -u hdfs hadoop fs -mkdir /tmp/mapred/system
$ sudo -u hdfs hadoop fs -chown mapred:hadoop /tmp/mapred/system

17. 配置HADOOP_MAPRED_HOME
$ sudo vim /etc/profile.d/hadoop.sh

 
export HADOOP_MAPRED_HOME=/usr/lib/hadoop-0.20-mapreduce
Salin selepas log masuk

$ source /etc/profile

18. 查看整个集群的状态
通过网页进行查看:http://hadoop-master:50070

19. 至此,Hadoop(HDFS)的搭建就已经完成。

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Bagaimana untuk menghentikan Outlook daripada menambah acara secara automatik pada kalendar saya Bagaimana untuk menghentikan Outlook daripada menambah acara secara automatik pada kalendar saya Feb 26, 2024 am 09:49 AM

Sebagai aplikasi pengurus e-mel, Microsoft Outlook membenarkan kami menjadualkan acara dan janji temu. Ia membolehkan kami kekal teratur dengan menyediakan alatan untuk mencipta, mengurus dan menjejaki aktiviti ini (juga dipanggil acara) dalam aplikasi Outlook. Walau bagaimanapun, kadangkala acara yang tidak diingini ditambahkan pada kalendar dalam Outlook, yang menimbulkan kekeliruan untuk pengguna dan menghantar spam pada kalendar. Dalam artikel ini, kami akan meneroka pelbagai senario dan langkah yang boleh membantu kami menghalang Outlook daripada menambahkan acara secara automatik pada kalendar saya. Acara Outlook – Gambaran keseluruhan ringkas acara Outlook adalah serba boleh dan mempunyai banyak ciri berguna seperti berikut: Penyepaduan Kalendar: Dalam Outlook

Perkongsian amalan kumpulan stesen CMS Dreamweaver Perkongsian amalan kumpulan stesen CMS Dreamweaver Mar 18, 2024 am 10:18 AM

Perkongsian Amalan Kumpulan Dream Weaver CMS Station Dalam beberapa tahun kebelakangan ini, dengan perkembangan pesat Internet, pembinaan laman web menjadi semakin penting. Apabila membina berbilang tapak web, teknologi kumpulan tapak telah menjadi kaedah yang sangat berkesan. Di antara banyak alat pembinaan laman web, Dreamweaver CMS telah menjadi pilihan pertama ramai peminat laman web kerana fleksibiliti dan kemudahan penggunaannya. Artikel ini akan berkongsi beberapa pengalaman praktikal tentang kumpulan stesen CMS Dreamweaver, serta beberapa contoh kod khusus, dengan harapan dapat memberikan sedikit bantuan kepada pembaca yang meneroka teknologi kumpulan stesen. 1. Apakah kumpulan stesen Dreamweaver CMS? CMS Penenun Impian

Amalan Pengekodan PHP: Menolak Alternatif kepada Penyata Goto Amalan Pengekodan PHP: Menolak Alternatif kepada Penyata Goto Mar 28, 2024 pm 09:24 PM

Amalan Pengekodan PHP: Keengganan Menggunakan Alternatif untuk Mendapatkan Pernyataan Dalam beberapa tahun kebelakangan ini, dengan pengemaskinian dan lelaran berterusan bahasa pengaturcaraan, pengaturcara telah mula memberi lebih perhatian kepada spesifikasi pengekodan dan amalan terbaik. Dalam pengaturcaraan PHP, pernyataan goto telah wujud sebagai pernyataan aliran kawalan untuk masa yang lama, tetapi dalam aplikasi praktikal ia sering membawa kepada penurunan kebolehbacaan dan kebolehselenggaraan kod. Artikel ini akan berkongsi beberapa alternatif untuk membantu pembangun enggan menggunakan pernyataan goto dan meningkatkan kualiti kod. 1. Mengapa enggan menggunakan pernyataan goto? Pertama, mari kita fikirkan mengapa

Node berpindah sepenuhnya daripada Proxmox VE dan menyertai semula kluster Node berpindah sepenuhnya daripada Proxmox VE dan menyertai semula kluster Feb 21, 2024 pm 12:40 PM

Perihalan senario untuk nod mengosongkan sepenuhnya daripada ProxmoxVE dan menyertai semula kluster Apabila nod dalam kluster ProxmoxVE rosak dan tidak boleh dibaiki dengan cepat, nod yang rosak perlu ditendang keluar dari kluster dengan bersih dan maklumat baki mesti dibersihkan. Jika tidak, nod baharu yang menggunakan alamat IP yang digunakan oleh nod yang rosak tidak akan dapat menyertai kluster secara normal, selepas nod rosak yang telah dipisahkan daripada kluster dibaiki, walaupun ia tidak ada kaitan dengan kluster, ia akan; tidak dapat mengakses pengurusan web nod tunggal ini Di latar belakang, maklumat tentang nod lain dalam kelompok ProxmoxVE asal akan muncul, yang sangat menjengkelkan. Usir nod daripada kluster Jika ProxmoxVE ialah kluster hiper-tumpu Ceph, anda perlu log masuk ke mana-mana nod dalam kluster (kecuali nod yang anda mahu padamkan) pada sistem hos Debian, dan jalankan arahan

Bagaimana untuk membaca katalog semasa membaca di WeChat Bagaimana untuk melihat katalog Bagaimana untuk membaca katalog semasa membaca di WeChat Bagaimana untuk melihat katalog Mar 30, 2024 pm 05:56 PM

Versi mudah alih Aplikasi Pembacaan WeChat ialah perisian membaca yang sangat baik Perisian ini menyediakan banyak buku dan karya Anda boleh membacanya pada bila-bila masa, di mana-mana sahaja dengan carian satu klik dan membacanya secara rasmi dan jenis yang berbeza buku tersusun rapi dan nikmati suasana bacaan yang selesa dan santai. Tukar mod bacaan senario yang berbeza, kemas kini bab buku terkini secara berterusan setiap hari, sokong log masuk dalam talian daripada berbilang peranti dan muat turun kelompok ke rak buku Anda boleh membacanya dengan atau tanpa Internet, supaya semua orang boleh menemui lebih banyak pengetahuan daripadanya . Sekarang editor memperincikannya dalam talian Promosikan kaedah melihat katalog untuk rakan membaca WeChat. 1. Buka buku yang anda ingin lihat katalog dan klik di bahagian tengah buku. 2. Klik ikon tiga baris di sudut kiri bawah. 3. Dalam tetingkap pop timbul, lihat katalog buku

Amalan Terbaik untuk Pengurusan Trafik dengan Golang Amalan Terbaik untuk Pengurusan Trafik dengan Golang Mar 07, 2024 am 08:27 AM

Golang ialah bahasa pengaturcaraan yang berkuasa dan cekap yang digunakan secara meluas untuk membina perkhidmatan dan aplikasi web. Dalam perkhidmatan rangkaian, pengurusan trafik adalah bahagian penting Ia boleh membantu kami mengawal dan mengoptimumkan penghantaran data pada rangkaian dan memastikan kestabilan dan prestasi perkhidmatan. Artikel ini akan memperkenalkan amalan terbaik untuk pengurusan trafik menggunakan Golang dan memberikan contoh kod khusus. 1. Gunakan pakej bersih Golang untuk pengurusan trafik asas Pakej bersih Golang menyediakan cara untuk mengendalikan data rangkaian.

Bolehkah bangunan dibina di alam liar di Mistlock Kingdom? Bolehkah bangunan dibina di alam liar di Mistlock Kingdom? Mar 07, 2024 pm 08:28 PM

Pemain boleh mengumpul bahan yang berbeza untuk membina bangunan apabila bermain di Mistlock Kingdom Ramai pemain ingin tahu sama ada untuk membina bangunan di alam liar Bangunan tidak boleh dibina di dalam Mistlock Kingdom. . Bolehkah bangunan dibina di alam liar di Mistlock Kingdom? 1. Bangunan tidak boleh dibina di kawasan liar Kerajaan Mist Lock. 2. Bangunan mesti dibina dalam skop altar. 3. Pemain boleh meletakkan Spirit Fire Altar dengan sendirinya, tetapi apabila mereka meninggalkan julat, mereka tidak akan dapat membina bangunan. 4. Kita juga boleh terus menggali lubang di gunung sebagai rumah kita, jadi kita tidak perlu menggunakan bahan binaan. 5. Terdapat mekanisme keselesaan dalam bangunan yang dibina oleh pemain sendiri, iaitu, lebih baik dalaman, lebih tinggi keselesaan. 6. Keselesaan yang tinggi akan membawa bonus atribut kepada pemain, seperti

Bagaimana untuk menjana direktori secara automatik Bagaimana untuk menetapkan format direktori yang dijana secara automatik. Bagaimana untuk menjana direktori secara automatik Bagaimana untuk menetapkan format direktori yang dijana secara automatik. Feb 22, 2024 pm 03:30 PM

Pilih gaya katalog dalam Word, dan ia akan dijana secara automatik selepas operasi selesai. Analisis 1. Pergi ke Word pada komputer anda dan klik untuk mengimport. 2Selepas memasukkan, klik pada direktori fail. 3 Kemudian pilih gaya direktori. 4. Selepas operasi selesai, anda boleh melihat bahawa direktori fail dijana secara automatik. Tambahan: Jadual kandungan artikel ringkasan/nota dijana secara automatik, termasuk tajuk peringkat pertama, tajuk peringkat kedua dan tajuk peringkat ketiga, biasanya tidak lebih daripada tajuk peringkat ketiga.

See all articles