建站
咨詢
售后
建站咨詢
新聞中心
小編給大家分享一下centos6.4 32/64位機(jī)中如何安裝hadoop2.2.0集群，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！
目前創(chuàng)新互聯(lián)建站已為成百上千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、網(wǎng)站運營、企業(yè)網(wǎng)站設(shè)計、憑祥網(wǎng)站維護(hù)等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
1、準(zhǔn)備環(huán)境
安裝VMware10 ，三臺centos6.4 版本，安裝在VMware虛擬機(jī)下。
1）安裝中文輸入法：
1、需要root權(quán)限，所以要用root登錄 ，或su root
2、yum install "@Chinese Support"
2）安裝ssh或者vsftp
使用chkconfig --list來查看是否裝有vsftpd服務(wù)；
使用yum命令直接安裝： yum install vsftpd
查看與管理ftp服務(wù)：
啟動ftp服務(wù)：service vsftpd start
查看ftp服務(wù)狀態(tài)：service vsftpd status
重啟ftp服務(wù)：service vsftpd restart
關(guān)閉ftp服務(wù)：service vsftpd stop
3)jdk安裝
參考http://my.oschina.net/kt431128/blog/269262
2、修改主機(jī)名
本人安裝一個虛擬機(jī)，然后通過虛擬機(jī)-》管理-》克隆 完成其他兩臺機(jī)器的安裝，現(xiàn)在存在的一個問題就是主機(jī)名是一樣的，這個明顯不是自己想要的，所以需要修改其余兩臺的主機(jī)名。
[root@slaver2 sysconfig]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=slaver
3、配置/ect/hosts，三臺服務(wù)器的配置一樣
vi /etc/hosts
192.168.21.128 master
192.168.21.131 slaver
192.168.21.130 slaver2
4、創(chuàng)建用戶（使用root用戶創(chuàng)建后來發(fā)現(xiàn)Browse the filesystem 報錯，后來查文檔，建議使用新建的用戶）
useradd hadoop
passwd hadoop
輸入密碼，確認(rèn)
5、ssh無密碼登錄
參考：http://my.oschina.net/kt431128/blog/269266
6、HADOOP的下載和環(huán)境的配置
http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/
[ ] hadoop-2.2.0.tar.gz 07-Oct-2013 14:46 104M
hadoop環(huán)境變量的配置：
vi/etc/profile
在文件的最下面添加
export HADOOP_HOME=/usr/zkt/hadoop2.2.0/hadoop-2.2.0
export PAHT=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_LOG_DIR=/usr/zkt/hadoop2.2.0/hadoop-2.2.0/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
注：在64位操作系統(tǒng)上需要加入一下紅色部分的配置信息
網(wǎng)上看到的另一種解決辦法：
在使用./sbin/start-dfs.sh或./sbin/start-all.sh啟動時會報出這樣如下警告：
Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
....
Java: ssh: Could not resolve hostname Java: Name or service not known
HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name or service not known
64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service not known
....
這個問題的錯誤原因會發(fā)生在64位的操作系統(tǒng)上，原因是從官方下載的hadoop使用的本地庫文件(例如lib/native/libhadoop.so.1.0.0)都是基于32位編譯的，運行在64位系統(tǒng)上就會出現(xiàn)上述錯誤。
解決方法之一是在64位系統(tǒng)上重新編譯hadoop，另一種方法是在hadoop-env.sh和yarn-env.sh中添加如下兩行：
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
注：/usr/zkt/hadoop2.2.0/hadoop-2.2.0為自定義的下載hadoop文件的解壓路徑
7、修改hadoop的配置文件hadoop2.2.0/etc/hadoop
1、修改hadoop-env.sh 、yarn-env.sh 確保hadoop運行所需要的java環(huán)境
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7.0_55
2、修改core-site.xml文件 定義文件系統(tǒng)的配置
3、修改hadfs-site.xml 定義名稱節(jié)點和數(shù)據(jù)節(jié)點
4、修改mapred-site.xml Configurations for MapReduce Applications
5、修改yarn-site.xml文件
該文件主要用于：
1、Configurations for ResourceManager and NodeManager:
2、Configurations for ResourceManager:
3、Configurations for NodeManager:
4、Configurations for History Server (Needs to be moved elsewhere):
8、創(chuàng)建第7步配置文件中多出的文件夾
data tmp name log mkdir -r /usr/zkt/hadoop2.2.0/hdf/data 等
9、為這些文件夾賦權(quán)限 比較關(guān)鍵 不然文件生成的時候無文件創(chuàng)建、寫權(quán)限
su - root
chown -R hadoop:hadoop /usr/zkt/hadoop2.2.0 (不明白的可以查看chown命令)
或者切換到hadoop用戶下 通過chmod -R 777 data 賦權(quán)限
10、將配置好的hadoop分別拷貝到 slaver 和slaver2主機(jī)上
scp -r /usr/zkt/hadoop2.2.0/hadoop-2.2.0 hadoop@slaver:/usr/zkt/hadoop2.2.0/
scp -r /usr/zkt/hadoop2.2.0/hadoop-2.2.0 hadoop@slaver2:/usr/zkt/hadoop2.2.0/
11、hadoop namenode的初始化
如果 hadoop環(huán)境變量配置沒問題直接使用
hdfs namenode -format
hadoop command not found 解決辦法：
echo $PATH
發(fā)現(xiàn)hadoop的環(huán)境變量是：/home/hadoop/bin 而不是我們配置的環(huán)境變量，我們需要把hadoop-2.2.0包下的bin、sbin文件夾拷貝到/home/hadoop/下，再次echo $PATH，發(fā)現(xiàn)可以了。
12、關(guān)閉防火墻 三臺服務(wù)器的防火墻都需要關(guān)閉
查看iptables狀態(tài)：
service iptables status
iptables開機(jī)自動啟動：
開啟： chkconfig iptables on
關(guān)閉： chkconfig iptables off
iptables關(guān)閉服務(wù)：
開啟： service iptables start
關(guān)閉： service iptables stop
13、啟動hadoop
start-all.sh
關(guān)閉hadoop
stop-all.sh
14、查看啟動的節(jié)點進(jìn)程
jps
15、查看啟動后的服務(wù)信息
master中應(yīng)該有ResourceManager服務(wù)，slave中應(yīng)該有nodemanager服務(wù)
查看集群狀態(tài)：./bin/hdfs dfsadmin –report
查看文件塊組成： ./bin/hdfsfsck / -files -blocks
查看各節(jié)點狀態(tài): http://master:50070
看完了這篇文章，相信你對“centos6.4 32/64位機(jī)中如何安裝hadoop2.2.0集群”有了一定的了解，如果想了解更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！
名稱欄目：centos6.432/64位機(jī)中如何安裝hadoop2.2.0集群
網(wǎng)頁URL：http://www.ef60e0e.cn/article/pddips.html
