99热在线精品一区二区三区_国产伦精品一区二区三区女破破_亚洲一区二区三区无码_精品国产欧美日韩另类一区

第一步：版本的選擇：

創(chuàng)新互聯(lián)堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站制作、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的合作網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

spark-0.x spark-1.x(主流：Spark-1.3 和 Spark-1.6) spark-2.x(最新 Spark-2.4) 下載地址：http://spark.apache.org/downloads.html（官網(wǎng)） 其他鏡像網(wǎng)站：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/                                   https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/                                   https://www.apache.org/dyn/closer.lua/spark/ 注意這里我選擇是：spark-2.3.0-bin-hadoop2.7.tgz。

第二步：關(guān)于搭建spark集群的環(huán)境：

• spark底層是使用scala語言編寫的，所有這里需要安裝scala的環(huán)境，并且配置scala的環(huán)境變量。

• scala和spark也都需要jdk，所以我們還需要配置jdk的環(huán)境以及環(huán)境變量，關(guān)于jdk的版本最好是java 8+。

• 這里我們用spark-2.3

注意：由于安裝比較簡(jiǎn)單，此時(shí)略過java以及scala的安裝。

轉(zhuǎn)載：https://www.cnblogs.com/liugh/p/6623530.html（Linux下安裝java）

轉(zhuǎn)載：https://www.cnblogs.com/freeweb/p/5623795.html（Linux下安裝scala）

第三步：spark集群的規(guī)劃：

Server	Master	Worker
hostname01	√
hostname02		√
hostname03		√

第四步：具體的集群安裝：

①上傳下載好的spark安裝包到集群的任意一個(gè)節(jié)點(diǎn)（由于個(gè)人品味不一，這里上傳軟件的方式也不同，作者使用的是Xshell） ②解壓，并放置到統(tǒng)一管理的目錄下（注意這個(gè)目錄一定要有讀寫的權(quán)限）：tar zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /application/ ③進(jìn)入相應(yīng)的spark的conf目錄：cd $SPARK_HOME/conf：   [user01@hostname01 ~]$ mv spark-env.sh.template spark-env.sh   [user01@hostname01 conf]$ vim spark-env.sh(加入以下配置)       export JAVA_HOME=/application/jdk1.8.0_73       export SPARK_MASTER_HOST=hostname01       export SPARK_MASTER_PORT=7077 ④修改$SPARK_HOME/conf/slaves(在其中加入集群的從節(jié)點(diǎn)的主機(jī)或者IP，這里我將hostname02、hostname03當(dāng)做從節(jié)點(diǎn))       hostname02       hostname03 注意：這里的配置，不要用任何多余的空格和空行！！！ ⑤將spark安裝包c(diǎn)opy到集群的其他節(jié)點(diǎn)上 scp -r /application/spark-2.3.2-bin-hadoop2.7  hostname02: /application scp -r /application/spark-2.3.2-bin-hadoop2.7  hostname03: /application 注意：由于這里集群的節(jié)點(diǎn)不是很多，所以在分發(fā)安裝包的時(shí)候，可以手動(dòng)輸入密碼，個(gè)人建議還是配置一下ssh面秘鑰登錄。 轉(zhuǎn)載：https://blog.csdn.net/furzoom/article/details/79139570 ⑥配置spark的環(huán)境變量：（注意這里需要所有的集群節(jié)點(diǎn)都要配置，當(dāng)然配置的地方，根據(jù)不同要求而定） 我這里配置在/etc/profile : (由于提前做了sudo的權(quán)限設(shè)置，所以在普通用戶下依然可以修改/etc/profile)       export SPARK_HOME=/application/spark-2.3.2-bin-hadoop2.7       PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin #注意這里的bin和sbin都要配置 ⑦最終啟動(dòng)集群：  [user01@hostname01 ~]$ /application/spark-2.3.2-bin-hadoop2.7/sbin/start-all.sh 切記：如果集群有hadoop集群，那么在hadoop的sbin目錄下也有start-all.sh的命令，所以這里只能使用全路徑

第五步：測(cè)試是否啟動(dòng)成功

第一種方法：

使用jps命令查看進(jìn)程：master是集群的主節(jié)點(diǎn)，worker是集群的從節(jié)點(diǎn)：

第二種方法：查看web UI界面：

最終出現(xiàn)上述情況任意一個(gè)，說明集群搭建成功。這里分享的是分布式集群，HA集群，需要步驟比較復(fù)雜

并且需要zookeeper組件。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前題目：spark分布式集群安裝-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)URL：http://www.ef60e0e.cn/article/ddjocg.html