新聞中心
我是我:“緣起于美麗,相識(shí)于邂逅,廝守到白頭!”
創(chuàng)新互聯(lián)建站從2013年成立,是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司,擁有項(xiàng)目成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)網(wǎng)站策劃,項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命,1280元紅寺堡做網(wǎng)站,已為上家服務(wù),為紅寺堡各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18982081108
眾聽眾:“呃,難道今天是要分享如何作詩?!”
我是我:“大家不要誤會(huì),今天主要的分享不是如何作詩,而是《揭秘:‘撩’大數(shù)據(jù)的正確姿勢(shì)》,下面進(jìn)入正題。”
話說當(dāng)下技術(shù)圈的朋友,一起聚個(gè)會(huì)聊個(gè)天,如果不會(huì)點(diǎn)大數(shù)據(jù)的知識(shí),感覺都融入不了圈子,為了以后聚會(huì)時(shí)讓你有聊有料,接下來就跟隨我的講述,一起與大數(shù)據(jù)混個(gè)臉熟吧,不過在“撩”大數(shù)據(jù)之前,還是先揭秘一下研發(fā)這些年我們都經(jīng)歷了啥?
緣起:應(yīng)用系統(tǒng)架構(gòu)的從 0 到 1
揭秘:研發(fā)這些年我們都經(jīng)歷了啥?
大道至簡。生活在技術(shù)圈里,大家靜下來想想,無論一個(gè)應(yīng)用系統(tǒng)多龐大、多復(fù)雜,無非也就是由一個(gè)漂亮的網(wǎng)站門面 + 一個(gè)丑陋的管理模塊 + 一個(gè)悶頭干活的定時(shí)任務(wù)三大板塊組成。
我們負(fù)責(zé)的應(yīng)用系統(tǒng)當(dāng)然也不例外,起初設(shè)計(jì)的時(shí)候三大模塊綁在一起(All in one),線上跑一個(gè) Tomcat 輕松就搞定,可謂是像極了一個(gè)大泥球。
衍化至繁。由于網(wǎng)站模塊、管理平臺(tái)、定時(shí)任務(wù)三大模塊綁定在一起,開發(fā)協(xié)作會(huì)比較麻煩,時(shí)不時(shí)會(huì)有代碼合并沖突出現(xiàn);線上應(yīng)用升級(jí)時(shí),也會(huì)導(dǎo)致其它模塊暫時(shí)不能使用,例如如果修改了一個(gè)定時(shí)任務(wù)的配置,可能會(huì)導(dǎo)致網(wǎng)站、管理平臺(tái)的服務(wù)暫時(shí)不能用。面對(duì)諸多的不便,就不得不對(duì) All in one 的大泥球系統(tǒng)進(jìn)行拆解。
隨著產(chǎn)品需求的快速迭代,網(wǎng)站 WEB 功能逐漸增多,我們起初設(shè)計(jì)時(shí)雄心勃勃(All in one 的單體架構(gòu)),以為直接按模塊設(shè)計(jì)疊加實(shí)現(xiàn)就好了,誰成想系統(tǒng)越發(fā)顯得臃腫(想想也是走彎路啦!)。所以不得不改變實(shí)現(xiàn)思路,讓模塊服務(wù)下沉,分布式思想若現(xiàn)——讓原來網(wǎng)站 WEB 一個(gè)系統(tǒng)做的事,變成由子系統(tǒng)分擔(dān)去完成。
應(yīng)用架構(gòu)的演變,服務(wù)模塊化拆分,隨之而來的就是業(yè)務(wù)日志、業(yè)務(wù)數(shù)據(jù)散落在各處。隨著業(yè)務(wù)的推廣,業(yè)務(wù)量逐日增多,沉淀的數(shù)據(jù)日益龐大,在業(yè)務(wù)層面、運(yùn)維層面上的很多問題,逐漸開始暴露。
- 在業(yè)務(wù)層面上,面對(duì)監(jiān)管機(jī)構(gòu)的監(jiān)管,整合提取散落在各地的海量數(shù)據(jù)稍顯困難;海量數(shù)據(jù)散落,想做個(gè)統(tǒng)計(jì)分析報(bào)表也非常不易。
- 在運(yùn)維層面上,由于缺少統(tǒng)一的日志歸檔,想基于日志做快速分析也比較困難;如果想從散落在各模塊的日志中,進(jìn)行調(diào)用鏈路的分析也是相當(dāng)費(fèi)勁。
面對(duì)上述問題,此時(shí)一個(gè)碩大的紅色問號(hào)出現(xiàn)在我們面前,到底該如何解決?
面對(duì)結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù),不妨先考慮采用國內(nèi)比較成熟的開源數(shù)據(jù)庫中間件 Sharding-JDBC、MyCat 看是否能夠解決業(yè)務(wù)問題;面對(duì)日志數(shù)據(jù),可以考慮采用 ELK 等開源組件。如果以上方案或者能嘗試的方式都無法幫我們解決,嘗試搬出大數(shù)據(jù)吧。
那到底什么時(shí)候需要用大數(shù)據(jù)呢?大數(shù)據(jù)到底能幫我們解決什么問題呢?注意,前方高能預(yù)警,門外漢“撩”大數(shù)據(jù)的正確姿勢(shì)即將開啟。
邂逅:一起撬開大數(shù)據(jù)之門
槽點(diǎn):門外漢“撩”大數(shù)據(jù)的正確姿勢(shì)
與大數(shù)據(jù)的邂逅,源于兩個(gè)頭痛的問題。第一個(gè)問題是海量數(shù)據(jù)的存儲(chǔ),如何解決?第二個(gè)問題是海量數(shù)據(jù)的計(jì)算,如何解決?
面對(duì)這兩個(gè)頭痛的問題,不得不提及Google的“三駕馬車”(分布式文件系統(tǒng) GFS、MapReduce 和 BigTable),Google“三駕馬車”的出現(xiàn),奠定了大數(shù)據(jù)發(fā)展的基石,毫不夸張地說,沒有Google的“三駕馬車”就沒有大數(shù)據(jù),所以接下來很有必要逐一認(rèn)識(shí)。
大家都知道,Google搜索引擎每天要抓取數(shù)以億計(jì)的網(wǎng)頁,那么抓取的海量數(shù)據(jù)該怎么存儲(chǔ)?
Google痛則思變,重磅推出分布式文件系統(tǒng) GFS。面對(duì)Google推出的分布式文件系統(tǒng) GFS 架構(gòu),如 PPT 中示意,參與角色著實(shí)很簡單,主要分為 GFS Master(主服務(wù)器)、GFS Chunkserver(塊存儲(chǔ)服務(wù)器)、GFS Client(客戶端)。
不過對(duì)于首次接觸這個(gè)的你,可能還是一臉懵 ,大家心莫慌,接下來容我抽象一下。
GFS Master 我們姑且認(rèn)為是古代的皇上,統(tǒng)籌全局,運(yùn)籌帷幄。主要負(fù)責(zé)掌控管理所有文件系統(tǒng)的元數(shù)據(jù),包括文件和塊的命名空間、從文件到塊的映射、每個(gè)塊所在的節(jié)點(diǎn)位置。說白了,就是要維護(hù)哪個(gè)文件存在哪些文件服務(wù)器上的元數(shù)據(jù)信息,并且定期通過心跳機(jī)制與每一個(gè) GFS Chunkserver 通信,向其發(fā)送指令并收集其狀態(tài)。
GFS Chunkserver 可以認(rèn)為是宰相,因?yàn)樵紫喽亲永锩婺軗未軌蚝<{百川。主要提供數(shù)據(jù)塊的存儲(chǔ)服務(wù),以文件的形式存儲(chǔ)于 Chunkserver 上。
GFS Client 可以認(rèn)為是使者,對(duì)外提供一套類似傳統(tǒng)文件系統(tǒng)的 API 接口,對(duì)內(nèi)主要通過與皇帝通信來獲取元數(shù)據(jù),然后直接和宰相交互,來進(jìn)行所有的數(shù)據(jù)操作。
為了讓大家對(duì) GFS 背后的讀寫流程有更多認(rèn)識(shí),獻(xiàn)上兩首歌謠。
到這里,大家應(yīng)該對(duì)分布式文件系統(tǒng) GFS 不再陌生,以后在飯桌上討論該話題時(shí),也能與朋友交涉兩嗓子啦。
不過這還只是了解了海量數(shù)據(jù)怎么存儲(chǔ),那如何從海量數(shù)據(jù)存儲(chǔ)中,快速計(jì)算出我們想要的結(jié)果呢?
面對(duì)海量數(shù)據(jù)的計(jì)算,Google再次創(chuàng)新,推出了 MapReduce 編程模型及實(shí)現(xiàn)。
MapReduce 主要是采取分而治之的思想,通俗地講,主要是將一個(gè)大規(guī)模的問題,分成多個(gè)小規(guī)模的問題,把多個(gè)小規(guī)模問題解決,然后再合并小規(guī)模問題的結(jié)果,就能夠解決大規(guī)模的問題。
也有人說 MapReduce 就像光頭強(qiáng)的鋸子和錘子,世界上的萬事萬物都可以先鋸幾下,然后再錘幾下,就能輕松搞定,至于鋸子怎么鋸,錘子怎么錘,那就是個(gè)人的手藝了。
這么解釋不免顯得枯燥乏味,我們不妨換種方式,走進(jìn)生活真實(shí)感受 MapReduce。
斗地主估計(jì)大家都玩過,每次開玩之前,都會(huì)統(tǒng)計(jì)一副牌的張數(shù)到底夠不夠,最快的步驟莫過于:分幾份給大家一起數(shù),最后大家把數(shù)累加,算總張數(shù),接著就可以愉快地玩耍啦... ...這不就是分而治之的思想嗎?!不得不說架構(gòu)思想來源于人們的生活!
再舉個(gè)不太貼切的例子來感受MapReduce 背后的運(yùn)轉(zhuǎn)流程,估計(jì)很多人掰過玉米,每當(dāng)玉米成熟的季節(jié),地主家就開始忙碌起來。
首先地主將一畝地的玉米分給處于空閑狀態(tài)的長工來處理;專門負(fù)責(zé)掰玉米的長工領(lǐng)取任務(wù),開始掰玉米操作(Map 操作),并把掰好的玉米放到在麻袋里(緩沖區(qū)),麻袋裝不下時(shí),會(huì)被裝到木桶中(溢寫),木桶被劃分為藍(lán)色的生玉米木桶、紅色的熟玉米木桶(分區(qū)),地主通知二當(dāng)家來“收”屬于自己的那部分玉米,二當(dāng)家收到地主的通知后,就到相應(yīng)的長工那兒“拿回”屬于自己的那部分玉米(Fetch 操作),二當(dāng)家對(duì)收取的玉米進(jìn)行處理(Reduce 操作),并把處理后的結(jié)果放入糧倉。
一個(gè)不太貼切的生活體驗(yàn) + 一張畫得不太對(duì)的丑圖 = 苦澀難懂的技術(shù),也不知道這樣解釋,你了解了多少?不過如果以后再談大數(shù)據(jù),知道 MapReduce 這個(gè)詞的存在,那這次的分享就算成功(哈哈)。
MapReduce 解決了海量數(shù)據(jù)的計(jì)算問題,可謂是力作,但Google新的業(yè)務(wù)需求一直在不斷出現(xiàn)。眾所周知,Google要存儲(chǔ)爬取的海量網(wǎng)頁,由于網(wǎng)頁會(huì)不斷更新,所以要不斷地針對(duì)同一個(gè) URL 進(jìn)行爬取,那么就需要能夠存儲(chǔ)一個(gè) URL 不同時(shí)期的多個(gè)版本的網(wǎng)頁內(nèi)容。Google面臨很多諸如此類的業(yè)務(wù)場(chǎng)景,面對(duì)此類頭痛的需求,該怎么辦?
Google重磅打造了一款類似以“URL + contents + time stamp”為 key,以“html 網(wǎng)頁內(nèi)容”為值的存儲(chǔ)系統(tǒng),于是就有了 BigTable 這個(gè)鍵值系統(tǒng)的存在(本文不展開詳述)。
至此,兩個(gè)頭痛的問題就算解決了。面對(duì)海量數(shù)據(jù)存儲(chǔ)難題,Google推出了分布式文件系統(tǒng) GFS、結(jié)構(gòu)化存儲(chǔ)系統(tǒng) BigTable;面對(duì)海量數(shù)據(jù)的計(jì)算難題,Google推出了 MapReduce。
不過靜下來想想,GFS 也好、MapReduce 也罷,無非都是秉承了大道至簡、一人掌權(quán)、其它人辦事、人多力量大的設(shè)計(jì)理念。另外畫龍畫虎難畫骨,建議閑暇之余也多些思考:為什么架構(gòu)要這么設(shè)計(jì)?架構(gòu)設(shè)計(jì)的目標(biāo)到底是如何體現(xiàn)的?
基于Google的“三駕馬車”,出現(xiàn)了一大堆開源的輪子,不得不說Google的“三駕馬車”開啟了大數(shù)據(jù)時(shí)代。了解了Google的“三駕馬車”的設(shè)計(jì)理念后,再去看這些開源的輪子,應(yīng)該會(huì)比較好上手。
好了,門外漢“撩”大數(shù)據(jù)就聊到這兒吧,希望通過上文的分享能夠了解幾個(gè)關(guān)鍵詞:大道至簡、衍化至繁、Google三駕馬車(GFS、MapReduce、BigTable)、痛則思變、開源輪子。
白頭:番外篇
扯淡:不妨換一種態(tài)度
本文至此也即將接近尾聲,最后是番外篇~
首先,借用日本劍道學(xué)習(xí)心訣“守、破、離”,希望我們一起做一個(gè)精進(jìn)的人。
最后,在有限的時(shí)間內(nèi)要多學(xué)習(xí),不要停下學(xué)習(xí)的腳步,在了解和使用已經(jīng)有的成熟技術(shù)之時(shí),更要多思考,開創(chuàng)適合自己工作場(chǎng)景的解決方案。
文章來源:宜信技術(shù)學(xué)院 & 宜信支付結(jié)算團(tuán)隊(duì)技術(shù)分享第6期-宜信支付結(jié)算部支付研發(fā)團(tuán)隊(duì)高級(jí)工程師許賽賽《揭秘:“撩”大數(shù)據(jù)的正確姿勢(shì)》
分享者:宜信支付結(jié)算部支付研發(fā)團(tuán)隊(duì)高級(jí)工程師許賽賽
原文首發(fā)于公號(hào)-野指針
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
網(wǎng)站標(biāo)題:揭秘“撩”大數(shù)據(jù)的正確姿勢(shì):生動(dòng)示例解說大數(shù)據(jù)“三駕馬車”-創(chuàng)新互聯(lián)
分享URL:http://www.ef60e0e.cn/article/hdphd.html