99热在线精品一区二区三区_国产伦精品一区二区三区女破破_亚洲一区二区三区无码_精品国产欧美日韩另类一区

這篇文章給大家分享的是有關(guān)Hadoop中Spark怎么用的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

公司主營業(yè)務(wù)：做網(wǎng)站、成都網(wǎng)站制作、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出鎮(zhèn)原免費做網(wǎng)站回饋大家。

一、Spark 是什么

Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用分布式并行計算框架。Spark擁有hadoop MapReduce所具有的優(yōu)點，但和MapReduce 的最大不同之處在于Spark是基于內(nèi)存的迭代式計算——Spark的Job處理的中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，除此之外，一個MapReduce 在計算過程中只有map 和reduce 兩個階段，處理之后就結(jié)束了，而在Spark的計算模型中，可以分為n階段，因為它內(nèi)存迭代式的，我們在處理完一個階段以后，可以繼續(xù)往下處理很多個階段，而不只是兩個階段。

因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法。其不僅實現(xiàn)了MapReduce的算子map 函數(shù)和reduce函數(shù)及計算模型，還提供更為豐富的算子，如filter、join、groupByKey等。是一個用來實現(xiàn)快速而同用的集群計算的平臺。

Spark是一個用來實現(xiàn)快速而通用的集群計算的平臺。擴展了廣泛使用的MapReduce計算模型，而且高效地支持更多的計算模式，包括交互式查詢和流處理。在處理大規(guī)模數(shù)據(jù)集的時候，速度是非常重要的。Spark的一個重要特點就是能夠在內(nèi)存中計算，因而更快。即使在磁盤上進行的復(fù)雜計算，Spark依然比MapReduce更加高效。

二、Scala的安裝(所有節(jié)點)

下載安裝包

wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

解壓安裝包

tar xf scala-2.11.7.tgz 
mv scala-2.11.7 /usr/local/scala

配置scala環(huán)境變量/etc/profile.d/scala.sh

# Scala ENV
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

使scala環(huán)境變量生效

source /etc/profile.d/scala.sh

三、Spark 安裝(所有節(jié)點)

1、下載安裝

# 下載安裝包
wget https://mirrors.aliyun.com/apache/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz

# 解壓安裝包
tar xf spark-2.3.1-bin-hadoop2.7.tgz 
mv spark-2.3.1-bin-hadoop2.7 /usr/local/spark

2、配置 Spark 環(huán)境變量

編輯文件/etc/profile.d/spark.sh，修改為如下：

# Spark ENV
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:

生效環(huán)境變量

source /etc/profile.d/spark.sh

四、Spark 配置(namenode01)

1、配置 spark-env.sh

編輯文件/usr/local/spark/conf/spark-env.sh，修改為如下內(nèi)容：

export JAVA_HOME=/usr/java/default
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=namenode01
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

2、配置 slaves

編輯文件/usr/local/spark/conf/slaves，修改為如下內(nèi)容：

datanode01
datanode02
datanode03

3、配置文件同步到其他節(jié)點

scp /usr/local/spark/conf/* datanode01:/usr/local/spark/conf/
scp /usr/local/spark/conf/* datanode02:/usr/local/spark/conf/
scp /usr/local/spark/conf/* datanode03:/usr/local/spark/conf/

4、啟動 Spark 集群

Spark服務(wù)只使用hadoop的hdfs集群。

/usr/local/spark/sbin/start-all.sh

五、檢查

1、JPS

[root@namenode01 ~]# jps
14512 NameNode
23057 RunJar
14786 ResourceManager
30355 Jps
15894 HMaster
30234 Master

[root@datanode01 ~]# jps
3509 DataNode
3621 NodeManager
1097 QuorumPeerMain
9930 RunJar
15514 Worker
15581 Jps
3935 HRegionServer

[root@datanode02 ~]# jps
3747 HRegionServer
14153 Worker
3322 DataNode
3434 NodeManager
1101 QuorumPeerMain
14221 Jps

[root@datanode03 ~]# jps
3922 DataNode
4034 NodeManager
19186 Worker
19255 Jps
1102 QuorumPeerMain
4302 HRegionServer

2、Spark WEB 界面

訪問 http://192.168.1.200:8080/

3、spark-shell

同時，因為shell在運行，我們也可以通過192.168.1.200:4040訪問WebUI查看當前執(zhí)行的任務(wù)。

感謝各位的閱讀！關(guān)于“Hadoop中Spark怎么用”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

網(wǎng)頁題目：Hadoop中Spark怎么用
分享URL：http://www.ef60e0e.cn/article/gcecjs.html