99热在线精品一区二区三区_国产伦精品一区二区三区女破破_亚洲一区二区三区无码_精品国产欧美日韩另类一区

                                      HDFS最近學習總結(jié)

一. hdfs整體運行機制：

成都創(chuàng)新互聯(lián)公司主營華容網(wǎng)站建設的網(wǎng)絡公司,主營網(wǎng)站建設方案,重慶App定制開發(fā),華容h5小程序定制開發(fā)搭建,華容網(wǎng)站營銷推廣歡迎華容等地區(qū)企業(yè)咨詢

1. 客戶把一個文件存入HDFS中，其實HDFS會把文件切成塊進行存儲，會分散存儲到N臺Linux系統(tǒng)中（存儲文件塊的角色是:datanode）(重要的是切塊的行為是由客戶端決定的)
2. 一旦文件被切塊切塊存儲，HDFS一定要有個機制，需要記錄每一個文件的切塊信息和每個切塊具體的存儲機器。（記錄塊信息的是namenode）
3. 需要保證數(shù)據(jù)的安全性，HDFS將每一個塊都在集群中存放多個副本（副本數(shù)是由存儲時的客戶端決定的）。
4. 總結(jié) : 一個HDFS系統(tǒng)是由一臺運行了namenode的服務器和N臺運行了datanode的服務器組成。

二. 知識點：

1. 元數(shù)據(jù)由namenode管理
2. 元數(shù)據(jù)：HDFS的目錄結(jié)構(gòu)及每一個文件的塊信息（塊的id，副本數(shù)量，存放位置等）

三. namenode元數(shù)據(jù)記錄位置 ：

1. namenode把實時的完整元數(shù)據(jù)存放到內(nèi)存中
2. namenode還會在磁盤中存儲內(nèi)存元數(shù)據(jù)在某個時間上的鏡像文件fsimage
3. namenode會把讓元數(shù)據(jù)變化的客戶端操作記錄（類似添加）在edits日志文件中。

四. secondarynamenode 責任 ：

1. secondarynamenode會定期從namenode上下載fsimage鏡像和新生成的edits日志，然后加載fsimage鏡像到內(nèi)存中，然后順序解析edits文件，對內(nèi)存中的元數(shù)據(jù)對象進行修改（整合）整合完成后，將內(nèi)存元數(shù)據(jù)序列化成一個新的fsimage，并將這個fsimage鏡像文件上傳給namenode。這個過程叫checkpoint
2. secondary namenode每次做checkpoint操作時，第一次checkpoint需要下載fsimage，以后就不用下載了，因為自己的機器上就已經(jīng)有了。
3. 總結(jié)：secondarynamenode 會把fsimage 和 edits 下載過到自己的機器上，進行序列化成元數(shù)據(jù)在傳給namenode,可以記性單點故障處理。所以 secondarynamenode最好也配置下。

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

本文題目：HDFS總結(jié)-創(chuàng)新互聯(lián)
文章轉(zhuǎn)載：http://www.ef60e0e.cn/article/cohjos.html