建站
咨詢
售后
建站咨詢
新聞中心
這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)Pyspark如何讀取parquet數(shù)據(jù)，文章內(nèi)容豐富且以專(zhuān)業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。
創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),房縣企業(yè)網(wǎng)站建設(shè),房縣品牌網(wǎng)站建設(shè),網(wǎng)站定制,房縣網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷(xiāo),網(wǎng)絡(luò)優(yōu)化,房縣網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專(zhuān)業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。
可以跳過(guò)不符合條件的數(shù)據(jù)，只讀取需要的數(shù)據(jù)，降低IO數(shù)據(jù)量；壓縮編碼可以降低磁盤(pán)存儲(chǔ)空間，使用更高效的壓縮編碼節(jié)約存儲(chǔ)空間；只讀取需要的列，支持向量運(yùn)算，能夠獲取更好的掃描性能。parquet數(shù)據(jù)：列式存儲(chǔ)結(jié)構(gòu)，由Twitter和Cloudera合作開(kāi)發(fā)，相比于行式存儲(chǔ)，其特點(diǎn)是：
那么我們?cè)趺丛趐yspark中讀取和使用parquet數(shù)據(jù)呢？我以local模式， linux下的pycharm執(zhí)行作說(shuō)明。
首先，導(dǎo)入庫(kù)文件和配置環(huán)境：
import os
from pyspark import SparkContext, SparkConf
from pyspark.sql.session import SparkSession
os.environ["PYSPARK_PYTHON"]="/usr/bin/python3" #多個(gè)python版本時(shí)需要指定
conf = SparkConf().setAppName('test_parquet')
sc = SparkContext('local', 'test', conf=conf)
spark = SparkSession(sc)然后，使用spark進(jìn)行讀取，得到DataFrame格式的數(shù)據(jù)：host:port 屬于主機(jī)和端口號(hào)
parquetFile = r"hdfs://host:port/Felix_test/test_data.parquet" df = spark.read.parquet(parquetFile)
而，DataFrame格式數(shù)據(jù)有一些方法可以使用，例如：
1.df.first() ：顯示第一條數(shù)據(jù)，Row格式
print(df.first())
2.df.columns：列名
3.df.count()：數(shù)據(jù)量，數(shù)據(jù)條數(shù)
4.df.toPandas()：從spark的DataFrame格式數(shù)據(jù)轉(zhuǎn)到Pandas數(shù)據(jù)結(jié)構(gòu)
5.df.show()：直接顯示表數(shù)據(jù)；其中df.show(n) 表示只顯示前n行信息
6.type(df)：顯數(shù)據(jù)示格式
上述就是小編為大家分享的Pyspark如何讀取parquet數(shù)據(jù)了，如果剛好有類(lèi)似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
文章題目：Pyspark如何讀取parquet數(shù)據(jù)
URL分享：http://www.ef60e0e.cn/article/gipojj.html
