99热在线精品一区二区三区_国产伦精品一区二区三区女破破_亚洲一区二区三区无码_精品国产欧美日韩另类一区

簡述：Hadoop是最著名使用最廣泛的分布式大數(shù)據(jù)處理框架，它是用Java開發(fā)的。

物理主機、虛擬機、虛擬主機這三個就不多說了。我們先在ubuntu里添加一個叫hadoop的用戶

‍1：安裝jdk‍

下載jdk：jdk-7u75-linux-x64.tar.gz

安裝jdk：

#切換到root用戶 suroot #進入用戶編譯的目錄 cd/usr/local/lib #將jdk壓縮包解壓到當前路徑 tar-zxvf[jdk文件路徑]/java-jdk-1.7/jdk-7u75-linux-x64.tar.gz #編輯linux配置文件 gedit/etc/profile #添加如下文字 exportJAVA_HOME=/usr/local/lib/jdk1.7.0_75 exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar exportPATH=$PATH:$JAVA_HOME/bin #保存文件 #將jdk1.7.0_75目錄的擁有者改為root組的root用戶 chownroot:root-R/usr/local/lib/jdk1.7.0_75 #更改目錄和文件的模式 chmod755-R/usr/local/lib/jdk1.7.0_75 #生效 source/etc/profile #測試jdk，這條命令檢查jdk安裝是否成功。運行這條命令，只要沒有報錯就表明安裝成功了。 java-version

2：在虛擬機中安裝hadoop

下載hadoop：hadoop-1.2.1.tar.gz

安裝hadoop：

#切換到hadoop用戶 suhadoop #進入第三方包目錄 cd/opt tar-xvzf[hadoop文件路徑]/hadoop-1.2.1.tar.gz #進入hadoop目錄，配置幾個文件 #core-site.xml fs.default.name hdfs://localhost:9000 #mapred-site.xml mapred.job.tracker localhost:9001 #hdfs-site.xml dfs.replication 1 #在hadoop-env.sh文件里添加如下一條語句： exportJAVA_HOME=/usr/local/lib/jdk1.7.0_75

3：安裝rsync和ssh

sudoapt-getinstallsshrsync ssh-keygen-tdsa-f~/.ssh/id_dsa cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys sshlocalhost

4：啟動hadoop

#進入hadoop目錄 cd/opt/hadoop-1.2.1 #格式化hadoop_namenode ./bin/hadoopnamenode-format #啟動hadoop所有節(jié)點 ./bin/start-all.sh

5：測試（詞頻統(tǒng)計）

#進入hadoop目錄 cd/opt/hadoop-1.2.1 #將當前目錄下的README.txt放到hadoop進行測試 ./bin/hadoopfs-putREADME.txtreadme.txt #運行hadoop的examples的wordcount，測試hadoop的執(zhí)行。 ./bin/hadoopjarhadoop-examples-1.2.1.jarwordcountreadme.txtoutput #這條命令查看處理結果 ./bin/hadoopfs-catoutput/part-r-00000