99热在线精品一区二区三区_国产伦精品一区二区三区女破破_亚洲一区二区三区无码_精品国产欧美日韩另类一区

這篇文章主要講解了“hadoop2.7.3平臺(tái)怎么搭建spark2.1.1”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“hadoop2.7.3平臺(tái)怎么搭建spark2.1.1”吧！

創(chuàng)新互聯(lián)是由多位在大型網(wǎng)絡(luò)公司、廣告設(shè)計(jì)公司的優(yōu)秀設(shè)計(jì)人員和策劃人員組成的一個(gè)具有豐富經(jīng)驗(yàn)的團(tuán)隊(duì)，其中包括網(wǎng)站策劃、網(wǎng)頁(yè)美工、網(wǎng)站程序員、網(wǎng)頁(yè)設(shè)計(jì)師、平面廣告設(shè)計(jì)師、網(wǎng)絡(luò)營(yíng)銷人員及形象策劃。承接：成都做網(wǎng)站、成都網(wǎng)站制作、網(wǎng)站改版、網(wǎng)頁(yè)設(shè)計(jì)制作、網(wǎng)站建設(shè)與維護(hù)、網(wǎng)絡(luò)推廣、數(shù)據(jù)庫(kù)開(kāi)發(fā),以高性價(jià)比制作企業(yè)網(wǎng)站、行業(yè)門戶平臺(tái)等全方位的服務(wù)。

hadoop平臺(tái)搭建spark 
三臺(tái)機(jī)器
master
slave1
slave2

--安裝配置scala  master 節(jié)點(diǎn)

tar -zxvf  scala-2.12.2.tgz

/etc/profile

export SCALA_HOME=/usr/scala-2.12.2

export PATH=$SCALA_HOME/bin:$PATH

scala -version

復(fù)制到slave 并配置環(huán)境變量

scp -r scala-2.12.2 root@slave1:/usr/

scp -r scala-2.12.2 root@slave2:/usr/

---安裝spark  在master節(jié)點(diǎn)運(yùn)行

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz

vi /etc/profile

export SPARK_HOME=/usr/spark-2.1.1-bin-hadoop2.7

export PATH=$SPARK_HOME/bin:$PATH

最終變量

export HADOOP_HOME=/usr/hadoop-2.7.3

export SCALA_HOME=/usr/scala-2.12.2

export SPARK_HOME=/usr/spark-2.1.1-bin-hadoop2.7

export PATH=$PATH:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

配置

 1.spark-env.sh

cp spark-env.sh.template spark-env.sh

修改此文件，在文件末尾添加

###jdk安裝目錄

export JAVA_HOME=/usr/java/jdk1.8.0_101

###scala安裝目錄

export SCALA_HOME=/usr/scala-2.12.2

###spark集群的master節(jié)點(diǎn)的ip

export SPARK_MASTER_IP=192.168.58.10

###指定的worker節(jié)點(diǎn)能夠大分配給Excutors的內(nèi)存大小

export SPARK_WORKER_MEMORY=1g

###hadoop集群的配置文件目錄

export HADOOP_CONF_DIR=/usr/hadoop-2.7.3/etc/hadoop

2.slaves

cp slaves.template slaves

master

slave1

slave2

將spark文件和環(huán)境變量復(fù)制到slave節(jié)點(diǎn)

scp -r spark-2.1.1-bin-hadoop2.7 root@slave1:/usr/

scp -r spark-2.1.1-bin-hadoop2.7 root@slave2:/usr/

如果沒(méi)有設(shè)置節(jié)點(diǎn)ip不用管下面的

在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，

將export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2對(duì)應(yīng)節(jié)點(diǎn)的IP。

spark啟動(dòng)與關(guān)閉 保證hadoop已經(jīng)運(yùn)行

啟動(dòng) 進(jìn)入到spark目錄

./sbin/start-all.sh

關(guān)閉

./sbin/stop-all.sh

---驗(yàn)證

http://192.168.58.10:8080/

spark-shell

感謝各位的閱讀，以上就是“hadoop2.7.3平臺(tái)怎么搭建spark2.1.1”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)hadoop2.7.3平臺(tái)怎么搭建spark2.1.1這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

名稱欄目：hadoop2.7.3平臺(tái)怎么搭建spark2.1.1-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)鏈接：http://www.ef60e0e.cn/article/godej.html