99热在线精品一区二区三区_国产伦精品一区二区三区女破破_亚洲一区二区三区无码_精品国产欧美日韩另类一区

一、安裝Hadoop

1.先解壓hadoop到相關(guān)的文件夾中

創(chuàng)新互聯(lián)公司是專業(yè)的圖們網(wǎng)站建設(shè)公司，圖們接單;提供做網(wǎng)站、網(wǎng)站制作,網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行圖們網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

2.進(jìn)入到解壓好的文件夾以后，對(duì)相關(guān)文件進(jìn)行修改

3.配置hadoop-env.sh

vi hadoop-env.sh:
export= JAVA_HOME=/opt/inst/jdk181

4.配置core-site.xml

vi core-site.xml

        
                fs.defaultFS
                hdfs://bigdata:9000
        
        
                hadoop.tmp.dir
                /opt/hadoopdata
        
        
                hadoop.proxyuser.root.users
                *
        
        
                hadoop.proxyuser.root.groups
                *
        

5.配置hdfs-site.xml

vi hdfs-site.xml

        
                dfs.replication
                1
        

6.配置cp mapred-site.xml.template mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

7.vi mapred-site.xml

        
                mapreduce.framework.name
                yarn
        

8.vi yarn-site.xml

vi 

9.vi /etc/profile

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

10.更新并格式化

source  /etc/profile
hdfs namenode -format

11.啟動(dòng)

start-all.sh

jps
#查看進(jìn)程

12.把linux導(dǎo)入到hadoop中

hdfs dfs -put /opt/a.txt  /cm/
hdfs dfs -ls /cm

Hadoop理解

三大核心

1.HDFS: Hadoop Distribute File System 分布式文件系統(tǒng)

? NameNode:主節(jié)點(diǎn)，目錄

? DataNode：從節(jié)點(diǎn)，數(shù)據(jù)

? SecondaryNameNode：主節(jié)點(diǎn)的備份

2.YARN：Yet Another Resource Negotiator 資源管理調(diào)度系統(tǒng)

? 調(diào)度的是內(nèi)存的資源和CPU的算力

? 通過(guò)ResourceManager（只有一個(gè)） 來(lái)調(diào)度

? ResourceManager主要作用：

? 1.處理客戶端請(qǐng)求

? 2.監(jiān)控NodeManager

? 3.啟動(dòng)或監(jiān)控ApplicationMaster（）

? 4.資源的分配或調(diào)度

? NodeManager（多個(gè)）

? NodeManager主要作用：

? 1.管理單個(gè)節(jié)點(diǎn)上的資源

? 2.處理來(lái)自ResourceManager的命令

? 3.處理來(lái)自ApplicationMaster的命令

3.MapReduce：分布式運(yùn)算框架

? 運(yùn)算的

網(wǎng)頁(yè)標(biāo)題：大數(shù)據(jù)之一：Hadoop安裝
本文鏈接：http://www.ef60e0e.cn/article/gsscep.html