CentOS 6.6 安装 HDFS 2.7.1

时间:2015-09-26 00:31来源:blog.csdn.net 作者:Dean Chen的专栏 举报 点击:

本文尝试在CentOS上搭建10台HDFS集群,不会搭建YARN和Hive, 因为之后会采用Spark。先安装jdk 1.8, 此处不细说。

服务器有12块磁盘,因此这是一个真实场景下的集群搭建,只是规模较小。

下载

首先下载hadoop binary包

 

[plain] view plaincopyprint?
 
  1. wget http://apache.mesi.com.ar/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz  

解压后放在/data/slot0/目录下,并建立软链接/data/slot0/hadoop

 

创建帐号

创建管理hadoop集群的帐号

 

[plain] view plaincopyprint?
 
  1. useradd lisa  

会出现/home/lisa目录,lisa帐号无需密码,因为不能直接登录。

 

可以用批处理的方式对10台服务器都创建lisa帐号,主要通过ssh -t 这里不再细说

修改目录拥有者

 

[plain] view plaincopyprint?
 
  1. chown -R lisa:lisa hadoop-2.7.1/  
  2. chown -R lisa:lisa hadoop  
  3. ll  
  4. total 8  
  5. drwxr-xr-x 3 root root 4096 Sep 25 18:02 download  
  6. lrwxrwxrwx 1 lisa lisa   13 Sep 25 17:42 hadoop -> hadoop-2.7.1/  
  7. drwxr-xr-x 9 lisa lisa  139 Jun 29 14:15 hadoop-2.7.1  
  8. lrwxrwxrwx 1 root root   24 Sep 25 16:50 java -> /data/slot0/jdk1.8.0_45/  
  9. drwxr-xr-x 8 root root 4096 Sep 25 14:01 jdk1.8.0_45  


 

打通帐号间SSH认证

切换到hadoop系统使用的帐号,然后生成ssh key

 

[plain] view plaincopyprint?
 
  1. su - lisa  
  2. ssh-keygen -t rsa -P ''  
  3. Generating public/private rsa key pair.  
  4. Enter file in which to save the key (/home/lisa/.ssh/id_rsa):   
  5. Created directory '/home/lisa/.ssh'.  
  6. Your identification has been saved in /home/lisa/.ssh/id_rsa.  
  7. Your public key has been saved in /home/lisa/.ssh/id_rsa.pub.  
  8. The key fingerprint is:  
  9. 15:44:c6:4e:bb:cd:b9:09:e7:50:c7:ae:dd:92:56:57 lisa@10-149-11-152  
  10. The key's randomart image is:  
  11. +--[ RSA 2048]----+  
  12. |         +=      |  
  13. |         .o.     |  
  14. |         o.. .   |  
  15. |         .o . o E|  
  16. |        S  = +  .|  
  17. |          + = . o|  
  18. |           = = +.|  
  19. |            = = .|  
  20. |             . . |  
  21. +-----------------+  

 

配置/etc/hosts

10台服务器的/etc/hosts要一样,便于互相通过hostname通信。

 

[plain] view plaincopyprint?
 
  1. 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4  
  2. ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6  
  3. 10.149.11.152 10-149-11-152  
  4. 10.149.11.153 10-149-11-153  
  5. 10.149.11.154 10-149-11-154  
  6. 10.149.11.155 10-149-11-155  
  7. 10.149.11.156 10-149-11-156  
  8. 10.149.11.157 10-149-11-157  
  9. 10.149.11.158 10-149-11-158  
  10. 10.149.11.159 10-149-11-159  
  11. 10.149.11.160 10-149-11-160  
  12. 10.149.11.161 10-149-11-161  

配置core-site.xml

切换到lisa帐号,编辑core-site.xml文件

 

[plain] view plaincopyprint?
 
  1. <configuration>  
  2.   <property>  
  3.     <name>fs.default.name</name>  
  4.     <value>hdfs://10-149-11-152:9000</value>  
  5.   </property>  
  6.   <property>  
  7.     <name>io.file.buffer.size</name>  
  8.     <value>131072</value>  
  9.   </property>  
  10.   <property>  
  11.     <name>ha.zookeeper.quorum</name>  
  12.     <value>10.149.11.146:2181,10.149.11.147:2181,10.149.11.148:2181</value>  
  13.   </property>  
  14. </configuration>  

这里配置了三台zookeeper的IP和端口号。

 

 

配置hdfs-site.xml

先创建一系列目录用于存放namenode、journalnode和datanode数据, 这些目录不需要在每台服务器上都创建,为了图省事,我都建了,只是有些不用而已。

 

[plain] view plaincopyprint?
 
  1. mkdir -p /data/slot0/lisa/hdfs/namenode  
  2. chown -R lisa:lisa /data/slot0/lisa  
  3. mkdir -p /data/slot0/lisa/hdfs/journalnode  
  4. mkdir -p /data/slot0/lisa/hdfs/datanode  
  5. mkdir -p /data/slot1/lisa/hdfs/datanode  
  6. mkdir -p /data/slot2/lisa/hdfs/datanode  
  7. mkdir -p /data/slot3/lisa/hdfs/datanode  
  8. mkdir -p /data/slot4/lisa/hdfs/datanode  
  9. mkdir -p /data/slot5/lisa/hdfs/datanode  
  10. mkdir -p /data/slot6/lisa/hdfs/datanode  
  11. mkdir -p /data/slot7/lisa/hdfs/datanode  
  12. mkdir -p /data/slot8/lisa/hdfs/datanode  
  13. mkdir -p /data/slot9/lisa/hdfs/datanode  
  14. mkdir -p /data/slot11/lisa/hdfs/datanode  
  15. mkdir -p /data/slot10/lisa/hdfs/datanode  
  16. chown -R lisa:lisa /data/slot1/lisa  
  17. chown -R lisa:lisa /data/slot2/lisa  
  18. chown -R lisa:lisa /data/slot3/lisa  
  19. chown -R lisa:lisa /data/slot4/lisa  
  20. chown -R lisa:lisa /data/slot5/lisa  
  21. chown -R lisa:lisa /data/slot6/lisa  
  22. chown -R lisa:lisa /data/slot7/lisa  
  23. chown -R lisa:lisa /data/slot8/lisa  
  24. chown -R lisa:lisa /data/slot9/lisa  
  25. chown -R lisa:lisa /data/slot10/lisa  
  26. chown -R lisa:lisa /data/slot11/lisa  
  27.  

发表评论
为了和诣的生活,我关闭了评论页面,请大家到QQ群里交流吧:348944156,也欢迎关注本站微信公众号:centoscn