建站
咨詢
售后
建站咨詢
新聞中心
spark可以用來跑Python程序嗎？這個問題可能是我們?nèi)粘W(xué)習(xí)或工作經(jīng)常見到的。希望通過這個問題能讓你收獲頗深。下面是小編給大家?guī)淼膮⒖純?nèi)容，讓我們一起來看看吧！
崇陽網(wǎng)站制作公司哪家好，找成都創(chuàng)新互聯(lián)公司！從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項目制作，到程序開發(fā)，運營維護(hù)。成都創(chuàng)新互聯(lián)公司于2013年成立到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選成都創(chuàng)新互聯(lián)公司。
spark能跑Python么？
spark是可以跑Python程序的。python編寫好的算法，或者擴展庫的，比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的，大部分算法都有。
Spark 是一個通用引擎，可用它來完成各種各樣的運算，包括 SQL 查詢、文本處理、機器學(xué)習(xí)等。
本次實驗是搭有spark環(huán)境的linux下跑的，spark版本為1.6.1，相當(dāng)于在在spark本地執(zhí)行，spark文件放在/opt/moudles/spark-1.6.1/（代碼中會看到）
編寫python測試程序
#test.py文件
# -*- coding:utf-8 -*-
import os
import sys
#配置環(huán)境變量并導(dǎo)入pyspark
os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'
sys.path.append("/opt/moudles/spark-1.6.1/python")
sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")
from pyspark import SparkContext, SparkConf
appName ="spark_1" #應(yīng)用程序名稱
master= "spark://hadoop01:7077"#hadoop01為主節(jié)點hostname，請換成自己的主節(jié)點主機名稱
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
print("===========================================")
print (res)
print("===========================================")執(zhí)行python程序
執(zhí)行如下命令
python test.py
執(zhí)行與結(jié)果分別如下圖所示：
感謝各位的閱讀！看完上述內(nèi)容，你們對spark可以用來跑Python程序嗎大概了解了嗎？希望文章內(nèi)容對大家有所幫助。如果想了解更多相關(guān)文章內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
名稱欄目：spark可以用來跑Python程序嗎
當(dāng)前路徑：http://www.ef60e0e.cn/article/jhcisp.html
