建站
咨詢
售后
建站咨詢
新聞中心
一、scala安裝
首先下載scala壓縮包
貴陽ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書未來市場(chǎng)廣闊！成為創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：13518219792（備注：SSL證書合作）期待與您的合作！
wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz
解壓
tar -zxvf scala-2.11.7.tgz
移動(dòng)目錄
mv scala-2.11.7 /usr/local/
改名
cd /usr/local/
mv scala-2.11.7 scala
配置環(huán)境變量
vim /etc/profile
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
環(huán)境變量生效
source /etc/profile
查看scala版本
scala -version
分發(fā)scala到其他主機(jī)
scp -r /usr/local/scala/ root@Master:/usr/local/
scp -r /usr/local/scala/ root@Slave2:/usr/local/
二、spark安裝
復(fù)制spark壓縮包 到容器中
docker cp /root/spark-2.1.2-bin-hadoop2.4.tgz b0c77:/
查看并解壓
在profile中添加spark環(huán)境變量
生效環(huán)境變量
source /etc/profile
編輯spark-env.sh
vim /usr/local/spark/conf/spark-env.sh
- JAVA_HOME：Java安裝目錄
- SCALA_HOME：Scala安裝目錄
- HADOOP_HOME：hadoop安裝目錄
- HADOOP_CONF_DIR：hadoop集群的配置文件的目錄
- SPARK_MASTER_IP：spark集群的Master節(jié)點(diǎn)的ip地址
- SPARK_WORKER_MEMORY：每個(gè)worker節(jié)點(diǎn)能夠最大分配給exectors的內(nèi)存大小
- SPARK_WORKER_CORES：每個(gè)worker節(jié)點(diǎn)所占有的CPU核數(shù)目
- SPARK_WORKER_INSTANCES：每臺(tái)機(jī)器上開啟的worker節(jié)點(diǎn)的數(shù)目
修改slaves文件
cp slaves.template slaves
vi conf/slaves
scp -r /usr/local/spark/ Master:/usr/local
scp -r /usr/local/spark/ Slave2:/usr/local
同時(shí)其他兩個(gè)節(jié)點(diǎn)也要修改 /etc/profile
啟動(dòng)spark
./sbin/start-all.sh
成功打開之后使用jps在Master、Slave1和Slave2節(jié)點(diǎn)上分別可以看到新開啟的Master和Worker進(jìn)程。
成功打開Spark集群之后可以進(jìn)入Spark的WebUI界面，可以通過
SparkMaster_IP:8080
端口映射：
iptables -t nat -A DOCKER -p tcp --dport 8080 -j DNAT --to-destination 172.17.0.2:8080
此時(shí)我們可以通過映射到宿主機(jī)的端口訪問，可見有兩個(gè)正在運(yùn)行的Worker節(jié)點(diǎn)。
打開Spark-shell
使用
spark-shell
推出spark-shell的命令是“:quit”
因?yàn)閟hell在運(yùn)行，我們也可以通過
SparkMaster_IP:4040(172.17.0.2:4040)
訪問WebUI查看當(dāng)前執(zhí)行的任務(wù)。
先進(jìn)行端口映射：
iptables -t nat -A DOCKER -p tcp --dport 4040 -j DNAT --to-destination 172.17.0.2:4040
網(wǎng)站名稱：docker中spark+scala安裝配置
網(wǎng)站路徑：http://www.ef60e0e.cn/article/jhisps.html
