建站
咨詢
售后
建站咨詢
新聞中心
Apache Hudi中云數(shù)據(jù)湖的解決方案是什么，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。
創(chuàng)新互聯(lián)是一家集網(wǎng)站建設,彰武企業(yè)網(wǎng)站建設,彰武品牌網(wǎng)站建設,網(wǎng)站定制,彰武網(wǎng)站建設報價,網(wǎng)絡營銷,網(wǎng)絡優(yōu)化,彰武網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。
1. 引入
開源Apache Hudi項目為Uber等大型組織提供流處理能力，每天可處理數(shù)據(jù)湖上的數(shù)十億條記錄。
隨著世界各地的組織采用該技術(shù)，Apache開源數(shù)據(jù)湖項目已經(jīng)日漸成熟。
Apache Hudi（Hadoop Upserts Deletes and Incrementals）是一個數(shù)據(jù)湖項目，可在與Apache Hadoop兼容的云存儲系統(tǒng)（包括Amazon S3、Aliyun OSS）上進行流數(shù)據(jù)處理。
該項目最初于2016年在Uber開發(fā)，于2017年成為開源，并于2019年1月進入Apache孵化器。作為開源的結(jié)果反饋，Hudi已被阿里巴巴，騰訊，AWS，Uber和Kyligence等主要技術(shù)供應商的采用。
6月4日，Hudi（發(fā)音為"Hoodie"）正式成為Apache軟件基金會（ASF）的頂級項目，這是一個里程碑，標志著該項目已經(jīng)達到了較高的代碼成熟度和開發(fā)人員社區(qū)的參與。ASF是Hadoop，Spark，Kafka和其他廣泛使用的數(shù)據(jù)庫和數(shù)據(jù)管理程序的地方。
2. Hudi如何實現(xiàn)Uber的云數(shù)據(jù)湖
Hudi現(xiàn)在是被多個組織使用的開源項目，其中Uber一直是堅定的用戶。
Uber數(shù)據(jù)工程經(jīng)理Tanvi Kothari表示，Uber使用Hudi每天處理超過150PB數(shù)據(jù)湖中的5,000億條記錄。
Kothari運營著Uber全球數(shù)據(jù)倉庫團隊，該團隊負責為Uber的所有業(yè)務提供核心數(shù)據(jù)表。她指出，Hudi支持Uber對10,000多個表和數(shù)千個數(shù)據(jù)管道的讀寫進行增量處理。
Kothari說：”Hudi消除了處理大數(shù)據(jù)中的許多挑戰(zhàn)，它可以幫助您擴展ETL [Extract，Transform，Load]管道并提高數(shù)據(jù)保真度。”
3. Hudi作為云數(shù)據(jù)湖分析的基石
大數(shù)據(jù)分析供應商Kyligence Solutions將Apache Hudi作為產(chǎn)品的一部分，該公司在中國上海和加利福尼亞州圣何塞設有辦事處，Kyligence的合伙人兼首席架構(gòu)師史少鋒說道，他的公司使用許多Apache開源項目，包括Apache Kylin，Hadoop和Spark技術(shù)，來幫助企業(yè)管理數(shù)據(jù)。
史少鋒表示，Apache Hudi為Kyligence提供了一種直接在Hadoop分布式文件系統(tǒng)（HDFS）或Amazon S3上管理更改數(shù)據(jù)集的方法。
Kyligence于2019年開始為美國客戶使用Hudi，同時在此期間，AWS推出了與Hudi和Amazon Elastic MapReduce（EMR）服務的集成。Kyligence Cloud服務現(xiàn)在還支持Hudi作為其所有用戶進行在線分析處理的數(shù)據(jù)源格式。
史表示很高興看到Hudi畢業(yè)成為Apache的頂級項目的成就，他說，“Hudi有一個開放而熱情的社區(qū)，甚至將一系列Hudi文章翻譯成中文，使中國用戶更容易了解該技術(shù)。”
4. Hudi如何賦能云數(shù)據(jù)湖流處理
ASF Apache Hudi的共同創(chuàng)始人兼VP Vinoth Chandar說，Hudi提供了使用數(shù)據(jù)流的功能，并使用戶能夠更新數(shù)據(jù)集。
Chandar將Hudi啟用的流處理視為一種數(shù)據(jù)處理方式，在這種方式中，數(shù)據(jù)湖管理員可以處理增量數(shù)據(jù)，然后可以使用該數(shù)據(jù)。
Chandar說：“真正考慮Hudi的一個好方法是作為一個數(shù)據(jù)存儲或數(shù)據(jù)庫，該數(shù)據(jù)庫在[AWS] S3、[Aliyun] OSS中存儲的數(shù)據(jù)之上提供事務處理功能。”
Chandar接著說，Hudi成為頂級項目也反映了該項目的成熟度。但是，盡管Hudi現(xiàn)在是Apache的頂級項目，但這項工作尚未達到1.0版本，最新的更新是3月25日發(fā)布的0.5.2里程碑（畢業(yè)后又發(fā)布了0.5.3版本）。
Hudi開發(fā)人員目前正在開發(fā)0.6.0版本，Chandar表示該版本將于6月底發(fā)布。Chandar說，該版本將是一個重要的里程碑，它將具有性能增強和改進的數(shù)據(jù)遷移功能，以幫助用戶將數(shù)據(jù)帶入Hudi數(shù)據(jù)湖。他說：“我們的計劃是至少每個季度發(fā)布一個主要版本，然后希望每個月在主要版本之上發(fā)布bugfix版本。”
看完上述內(nèi)容，你們掌握Apache Hudi中云數(shù)據(jù)湖的解決方案是什么的方法了嗎？如果還想學到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！
本文題目：ApacheHudi中云數(shù)據(jù)湖的解決方案是什么
文章地址：http://www.ef60e0e.cn/article/pdgoeh.html
