1. <ul id="0c1fb"></ul>

      <noscript id="0c1fb"><video id="0c1fb"></video></noscript>
      <noscript id="0c1fb"><listing id="0c1fb"><thead id="0c1fb"></thead></listing></noscript>

      99热在线精品一区二区三区_国产伦精品一区二区三区女破破_亚洲一区二区三区无码_精品国产欧美日韩另类一区

      RELATEED CONSULTING
      相關(guān)咨詢
      選擇下列產(chǎn)品馬上在線溝通
      服務(wù)時(shí)間:8:30-17:00
      你可能遇到了下面的問題
      關(guān)閉右側(cè)工具欄

      新聞中心

      這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
      nosql需要注意什么,要學(xué)好nosql要哪三種途徑

      比Redis好用的NoSQL

      實(shí)際上為了更好的描述實(shí)體之間的關(guān)系,我們要是再繼續(xù)使用Redis的話,是不是感覺實(shí)體之間的關(guān)系不夠那么的明顯,雖然也是屬于NoSQL的一種,但是相對(duì)來(lái)說,Redis,表現(xiàn)實(shí)體之間的關(guān)系就沒有那么清晰了,為了更好的描述實(shí)體之間的關(guān)系,就會(huì)使用圖形數(shù)據(jù)庫(kù)來(lái)進(jìn)行了,那么今天阿粉介紹的,就是一個(gè)圖形化的數(shù)據(jù)可,Neo4J。

      創(chuàng)新互聯(lián)建站主要從事成都網(wǎng)站建設(shè)、網(wǎng)站制作、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)湯原,十多年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來(lái)電咨詢建站服務(wù):18982081108

      Neo4j是一個(gè)世界領(lǐng)先的開源的基于圖的數(shù)據(jù)庫(kù)。 它是使用Java語(yǔ)言完全開發(fā)的。那么什么是圖數(shù)據(jù)庫(kù)呢?圖數(shù)據(jù)庫(kù)是以圖結(jié)構(gòu)的形式存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)。 它以節(jié)點(diǎn),關(guān)系和屬性的形式存儲(chǔ)應(yīng)用程序的數(shù)據(jù)。正如RDBMS以表的“行,列”的形式存儲(chǔ)數(shù)據(jù),GDBMS以圖的形式存儲(chǔ)數(shù)據(jù)。

      RDBMS與圖數(shù)據(jù)庫(kù)的區(qū)別

      1.Tables 表Graphs 圖表

      2.Rows 行Nodes 節(jié)點(diǎn)

      3.Columns and Data 列和數(shù)據(jù) Properties and its values屬性及其值

      4.Constraints 約束Relationships 關(guān)系

      5.Joins 加入Traversal 遍歷

      說完了圖形數(shù)據(jù)庫(kù),我們就來(lái)看看這個(gè) Neo4J 數(shù)據(jù)庫(kù)吧

      neo4j是用Java語(yǔ)言編寫的圖形數(shù)據(jù)庫(kù),運(yùn)行時(shí)需要啟動(dòng)JVM進(jìn)程,因此,需安裝JAVA SE的JDK。關(guān)于 Java 怎么安裝,我就不用再多廢話了吧,到時(shí)候別忘了檢測(cè)一下 Java 的版本就好了, java -version

      接下來(lái)我們就是要進(jìn)行一個(gè)安裝了,我們先去官網(wǎng),下載社區(qū)版,企業(yè)版要收費(fèi)的,注意哈。

      官網(wǎng)地址

      下載完成,直接開始安裝,傻瓜式操作即可。

      Neo4j應(yīng)用程序有如下主要的目錄結(jié)構(gòu):

      注意,如果你使用的是Zip的壓縮包來(lái)進(jìn)行的使用的話,那么你就需要注意一些地方,比如你如果是用 Zip 的包解壓之后,并且想要通過 bat 的命令啟動(dòng),直接在目錄下進(jìn)行 cmd ,然后 neo4j.bat ,這時(shí)候可能會(huì)出現(xiàn)一個(gè)問題,就是版本可能會(huì)出現(xiàn)問題,你如果下載使用的是最新版的 Neo4J ,那么就可能會(huì)讓你使用 JDK 11 ,而阿粉就是踩過了這個(gè)大坑之后,才發(fā)現(xiàn),bat 閃退的原因。

      這樣就是說明我們的 JDk 的版本對(duì)應(yīng)的和 Neo4J 需要的 JDK 是不匹配的,我們就需要換一下我們的 JDK 了。把他換成 JDK 11 就好了,再次啟動(dòng)。

      這時(shí)候,我們就直接訪問 localhost:7474 的端口,直接就能看到如下的畫面, 1.jpg

      剛進(jìn)入的時(shí)候可能需要大家輸入帳號(hào)密碼,默認(rèn)的帳號(hào)密碼就是,neo4j 修改成你想要的就行了。

      這樣登錄進(jìn)去我們就能開始正式學(xué)習(xí) Neo4J 的所有內(nèi)容了。

      Neo4j - CQL語(yǔ)法

      我們?cè)谥v語(yǔ)法之前首先我們先得看看 Neo4J 的構(gòu)建模塊,不然之后的查詢都是無(wú)意義的。

      Neo4j圖數(shù)據(jù)庫(kù)主要有以下構(gòu)建塊 -

      節(jié)點(diǎn)是圖表的基本單位。 它包含具有鍵值對(duì)的屬性,如下所示

      屬性是用于描述圖節(jié)點(diǎn)和關(guān)系的鍵值對(duì)

      關(guān)系是圖形數(shù)據(jù)庫(kù)的另一個(gè)主要構(gòu)建塊。 它連接兩個(gè)節(jié)點(diǎn),如下所示。

      Label將一個(gè)公共名稱與一組節(jié)點(diǎn)或關(guān)系相關(guān)聯(lián)。 節(jié)點(diǎn)或關(guān)系可以包含一個(gè)或多個(gè)標(biāo)簽。 我們可以為現(xiàn)有節(jié)點(diǎn)或關(guān)系創(chuàng)建新標(biāo)簽。 我們可以從現(xiàn)有節(jié)點(diǎn)或關(guān)系中刪除現(xiàn)有標(biāo)簽。

      Neo4j數(shù)據(jù)瀏覽器 一旦我們安裝Neo4j,我們可以訪問Neo4j數(shù)據(jù)瀏覽器使用以下URL

      http:// localhost:7474 / browser /

      CREATE 語(yǔ)法

      CREATE ( : )

      它是我們要?jiǎng)?chuàng)建的節(jié)點(diǎn)名稱。

      它是一個(gè)節(jié)點(diǎn)標(biāo)簽名稱

      我們可以創(chuàng)建一個(gè)節(jié)點(diǎn),然后給他安排上一個(gè)標(biāo)簽

      CREATE (emp:Employee)

      當(dāng)我們看到

      Added 1 label, created 1 node, completed after 74 ms.

      這就創(chuàng)建成功了,

      那么怎么查看呢?

      MATCH語(yǔ)法

      MATCH ( : ) return xxx

      是這個(gè)樣子的

      但是看到里面竟然沒有東西,就相當(dāng)于是一個(gè)空的對(duì)象,那是不是就應(yīng)該給里面放入屬性的操作呢?沒錯(cuò),肯定有

      CREATE (emp:Employee{ id : 1001 ,name :"lucy", age : 10})

      Added 1 label, created 1 node, set 3 properties, completed after 163 ms. 創(chuàng)建成功。

      我們?cè)俅尾榭淳湍芸吹?/p>

      如果我們想只要其中的一些對(duì)象的屬性,而不是全部屬性,那應(yīng)該怎么操作呢?

      RETURN語(yǔ)法

      RETURN 可以返回的是一個(gè)對(duì)象,也可以是對(duì)象中的屬性,比如:

      結(jié)果就是下面這個(gè)樣子的,大家看一下,是不是感覺還是挺好用的。

      ** WHERE語(yǔ)法**

      WHERE

      為什么在前面的位置阿粉說,CQL 是和 SQL 類型的,這完全是因?yàn)楹芏鄸|西和 SQL 是類似的。

      結(jié)果如下:

      相同的還有

      布爾運(yùn)算符 描述 AND 和 OR 或者 NOT 非 XOR 異或

      比較運(yùn)算符 描述 = “等于”運(yùn)算符 “不等于”運(yùn)算符 “小于”運(yùn)算符 “大于”運(yùn)算符 = “小于或等于”運(yùn)算符。 = “大于或等于”運(yùn)算符。

      DELETE語(yǔ)法

      刪除語(yǔ)法必然是有的,因?yàn)橛袆?chuàng)建,肯定有刪除。

      DELETE

      但是這個(gè)命令也不是單獨(dú)使用的哈,

      MATCH (e: Employee) DELETE e

      直接刪除成功。

      基礎(chǔ)的東西講完了,阿粉就得說說這個(gè)比較重要的內(nèi)容了,關(guān)系,

      我們之前創(chuàng)建節(jié)點(diǎn)的時(shí)候,那叫一個(gè)簡(jiǎn)單舒適加愉快,但是創(chuàng)建關(guān)系就比較復(fù)雜了,因?yàn)樾枰紤]如何匹配到有關(guān)系的兩個(gè)節(jié)點(diǎn),以及關(guān)系本身的屬性如何設(shè)置。這里我們就簡(jiǎn)單學(xué)一下如何建立節(jié)點(diǎn)之間的關(guān)系。

      由于Neo4j CQL語(yǔ)法是以人類可讀的格式。 Neo4j CQL也使用類似的箭頭標(biāo)記來(lái)創(chuàng)建兩個(gè)節(jié)點(diǎn)之間的關(guān)系。

      每個(gè)關(guān)系( )包含兩個(gè)節(jié)點(diǎn)

      在Neo4j中,兩個(gè)節(jié)點(diǎn)之間的關(guān)系是有方向性的。 它們是單向或雙向的。

      如果我們嘗試創(chuàng)建一個(gè)沒有任何方向的關(guān)系,那么就會(huì)報(bào)錯(cuò)。

      關(guān)系創(chuàng)建語(yǔ)法

      CREATE ( )-[ ]-( )

      我們這里直接使用創(chuàng)建新的節(jié)點(diǎn)來(lái)創(chuàng)建關(guān)系。

      提示創(chuàng)建成功

      這里關(guān)系名稱是“CONTAINS”

      關(guān)系標(biāo)簽是“contains”。

      這么看是看不出有啥關(guān)系的,但是,我們可以從另外的一個(gè)位置

      這樣看下來(lái),這個(gè) Neo4J 簡(jiǎn)單操作是不是就學(xué)會(huì)了,阿粉接下來(lái)的文章中講怎么使用 Java 來(lái)操作 Neo4J 數(shù)據(jù)庫(kù)。歡迎大家來(lái)觀看。

      什么是NoSQL數(shù)據(jù)庫(kù)?

      2. 什么是NoSQL?

      2.1 NoSQL 概述

      NoSQL(NoSQL = Not Only SQL ),意即“不僅僅是SQL”,

      泛指非關(guān)系型的數(shù)據(jù)庫(kù)。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起,傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在應(yīng)付web2.0網(wǎng)站,特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心,暴露了很多難以克服的問題,而非關(guān)系型的數(shù)據(jù)庫(kù)則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫(kù)的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類帶來(lái)的挑戰(zhàn),尤其是大數(shù)據(jù)應(yīng)用難題,包括超大規(guī)模數(shù)據(jù)的存儲(chǔ)。

      (例如谷歌或Facebook每天為他們的用戶收集萬(wàn)億比特的數(shù)據(jù))。這些類型的數(shù)據(jù)存儲(chǔ)不需要固定的模式,無(wú)需多余操作就可以橫向擴(kuò)展。

      2.2 NoSQL代表

      MongDB、 Redis、Memcache

      3. 關(guān)系型數(shù)據(jù)庫(kù)與NoSQL的區(qū)別?

      3.1 RDBMS

      高度組織化結(jié)構(gòu)化數(shù)據(jù)

      結(jié)構(gòu)化查詢語(yǔ)言(SQL)

      數(shù)據(jù)和關(guān)系都存儲(chǔ)在單獨(dú)的表中。

      數(shù)據(jù)操縱語(yǔ)言,數(shù)據(jù)定義語(yǔ)言

      嚴(yán)格的一致性

      基礎(chǔ)事務(wù)

      ACID

      關(guān)系型數(shù)據(jù)庫(kù)遵循ACID規(guī)則

      事務(wù)在英文中是transaction,和現(xiàn)實(shí)世界中的交易很類似,它有如下四個(gè)特性:

      A (Atomicity) 原子性

      原子性很容易理解,也就是說事務(wù)里的所有操作要么全部做完,要么都不做,事務(wù)成功的條件是事務(wù)里的所有操作都成功,只要有一個(gè)操作失敗,整個(gè)事務(wù)就失敗,需要回滾。比如銀行轉(zhuǎn)賬,從A賬戶轉(zhuǎn)100元至B賬戶,分為兩個(gè)步驟:1)從A賬戶取100元;2)存入100元至B賬戶。這兩步要么一起完成,要么一起不完成,如果只完成第一步,第二步失敗,錢會(huì)莫名其妙少了100元。

      C (Consistency) 一致性

      一致性也比較容易理解,也就是說數(shù)據(jù)庫(kù)要一直處于一致的狀態(tài),事務(wù)的運(yùn)行不會(huì)改變數(shù)據(jù)庫(kù)原本的一致性約束。

      I (Isolation) 獨(dú)立性

      所謂的獨(dú)立性是指并發(fā)的事務(wù)之間不會(huì)互相影響,如果一個(gè)事務(wù)要訪問的數(shù)據(jù)正在被另外一個(gè)事務(wù)修改,只要另外一個(gè)事務(wù)未提交,它所訪問的數(shù)據(jù)就不受未提交事務(wù)的影響。比如現(xiàn)有有個(gè)交易是從A賬戶轉(zhuǎn)100元至B賬戶,在這個(gè)交易還未完成的情況下,如果此時(shí)B查詢自己的賬戶,是看不到新增加的100元的

      D (Durability) 持久性

      持久性是指一旦事務(wù)提交后,它所做的修改將會(huì)永久的保存在數(shù)據(jù)庫(kù)上,即使出現(xiàn)宕機(jī)也不會(huì)丟失。

      3.2 NoSQL

      代表著不僅僅是SQL

      沒有聲明性查詢語(yǔ)言

      沒有預(yù)定義的模式

      鍵 - 值對(duì)存儲(chǔ),列存儲(chǔ),文檔存儲(chǔ),圖形數(shù)據(jù)庫(kù)

      最終一致性,而非ACID屬性

      非結(jié)構(gòu)化和不可預(yù)知的數(shù)據(jù)

      CAP定理

      高性能,高可用性和可伸縮性

      分布式數(shù)據(jù)庫(kù)中的CAP原理(了解)

      CAP定理:

      Consistency(一致性), 數(shù)據(jù)一致更新,所有數(shù)據(jù)變動(dòng)都是同步的

      Availability(可用性), 好的響應(yīng)性能

      Partition tolerance(分區(qū)容錯(cuò)性) 可靠性

      P: 系統(tǒng)中任意信息的丟失或失敗不會(huì)影響系統(tǒng)的繼續(xù)運(yùn)作。

      定理:任何分布式系統(tǒng)只可同時(shí)滿足二點(diǎn),沒法三者兼顧。

      CAP理論的核心是:一個(gè)分布式系統(tǒng)不可能同時(shí)很好的滿足一致性,可用性和分區(qū)容錯(cuò)性這三個(gè)需求,

      因此,根據(jù) CAP 原理將 NoSQL 數(shù)據(jù)庫(kù)分成了滿足 CA 原則、滿足 CP 原則和滿足 AP 原則三 大類:

      CA - 單點(diǎn)集群,滿足一致性,可用性的系統(tǒng),通常在可擴(kuò)展性上不太強(qiáng)大。

      CP - 滿足一致性,分區(qū)容忍性的系統(tǒng),通常性能不是特別高。

      AP - 滿足可用性,分區(qū)容忍性的系統(tǒng),通常可能對(duì)一致性要求低一些。

      CAP理論就是說在分布式存儲(chǔ)系統(tǒng)中,最多只能實(shí)現(xiàn)上面的兩點(diǎn)。

      而由于當(dāng)前的網(wǎng)絡(luò)硬件肯定會(huì)出現(xiàn)延遲丟包等問題,所以分區(qū)容忍性是我們必須需要實(shí)現(xiàn)的。

      所以我們只能在一致性和可用性之間進(jìn)行權(quán)衡,沒有NoSQL系統(tǒng)能同時(shí)保證這三點(diǎn)。

      說明:C:強(qiáng)一致性 A:高可用性 P:分布式容忍性

      舉例:

      CA:傳統(tǒng)Oracle數(shù)據(jù)庫(kù)

      AP:大多數(shù)網(wǎng)站架構(gòu)的選擇

      CP:Redis、Mongodb

      注意:分布式架構(gòu)的時(shí)候必須做出取舍。

      一致性和可用性之間取一個(gè)平衡。多余大多數(shù)web應(yīng)用,其實(shí)并不需要強(qiáng)一致性。

      因此犧牲C換取P,這是目前分布式數(shù)據(jù)庫(kù)產(chǎn)品的方向。

      4. 當(dāng)下NoSQL的經(jīng)典應(yīng)用

      當(dāng)下的應(yīng)用是 SQL 與 NoSQL 一起使用的。

      代表項(xiàng)目:阿里巴巴商品信息的存放。

      去 IOE 化。

      ps:I 是指 IBM 的小型機(jī),很貴的,好像好幾萬(wàn)一臺(tái);O 是指 Oracle 數(shù)據(jù)庫(kù),也很貴的,好幾萬(wàn)呢;M 是指 EMC 的存儲(chǔ)設(shè)備,也很貴的。

      難點(diǎn):

      數(shù)據(jù)類型多樣性。

      數(shù)據(jù)源多樣性和變化重構(gòu)。

      數(shù)據(jù)源改造而服務(wù)平臺(tái)不需要大面積重構(gòu)。

      NoSQL-HDFS-基本概念

      Hadoop

      文件系統(tǒng):文件系統(tǒng)是用來(lái)存儲(chǔ)和管理文件,并且提供文件的查詢、增加、刪除等操作。

      直觀上的體驗(yàn):在shell窗口輸入 ls 命令,就可以看到當(dāng)前目錄下的文件夾、文件。

      文件存儲(chǔ)在哪里?硬盤

      一臺(tái)只有250G硬盤的電腦,如果需要存儲(chǔ)500G的文件可以怎么辦?先將電腦硬盤擴(kuò)容至少250G,再將文件分割成多塊,放到多塊硬盤上儲(chǔ)存。

      通過 hdfs dfs -ls 命令可以查看分布式文件系統(tǒng)中的文件,就像本地的ls命令一樣。

      HDFS在客戶端上提供了查詢、新增和刪除的指令,可以實(shí)現(xiàn)將分布在多臺(tái)機(jī)器上的文件系統(tǒng)進(jìn)行統(tǒng)一的管理。

      在分布式文件系統(tǒng)中,一個(gè)大文件會(huì)被切分成塊,分別存儲(chǔ)到幾臺(tái)機(jī)器上。結(jié)合上文中提到的那個(gè)存儲(chǔ)500G大文件的那個(gè)例子,這500G的文件會(huì)按照一定的大小被切分成若干塊,然后分別存儲(chǔ)在若干臺(tái)機(jī)器上,然后提供統(tǒng)一的操作接口。

      看到這里,不少人可能會(huì)覺得,分布式文件系統(tǒng)不過如此,很簡(jiǎn)單嘛。事實(shí)真的是這樣的么?

      潛在問題

      假如我有一個(gè)1000臺(tái)機(jī)器組成的分布式系統(tǒng),一臺(tái)機(jī)器每天出現(xiàn)故障的概率是0.1%,那么整個(gè)系統(tǒng)每天出現(xiàn)故障的概率是多大呢?答案是(1-0.1%)^1000=63%,因此需要提供一個(gè)容錯(cuò)機(jī)制來(lái)保證發(fā)生差錯(cuò)時(shí)文件依然可以讀出,這里暫時(shí)先不展開介紹。

      如果要存儲(chǔ)PB級(jí)或者EB級(jí)的數(shù)據(jù),成千上萬(wàn)臺(tái)機(jī)器組成的集群是很常見的,所以說分布式系統(tǒng)比單機(jī)系統(tǒng)要復(fù)雜得多呀。

      這是一張HDFS的架構(gòu)簡(jiǎn)圖:

      client通過nameNode了解數(shù)據(jù)在哪些DataNode上,從而發(fā)起查詢。此外,不僅是查詢文件,寫入文件的時(shí)候也是先去請(qǐng)教N(yùn)ameNode,看看應(yīng)該往哪個(gè)DateNode中去寫。

      為了某一份數(shù)據(jù)只寫入到一個(gè)Datanode中,而這個(gè)Datanode因?yàn)槟承┰虺鲥e(cuò)無(wú)法讀取的問題,需要通過冗余備份的方式來(lái)進(jìn)行容錯(cuò)處理。因此,HDFS在寫入一個(gè)數(shù)據(jù)塊的時(shí)候,不會(huì)僅僅寫入一個(gè)DataNode,而是會(huì)寫入到多個(gè)DataNode中,這樣,如果其中一個(gè)DataNode壞了,還可以從其余的DataNode中拿到數(shù)據(jù),保證了數(shù)據(jù)不丟失。

      實(shí)際上,每個(gè)數(shù)據(jù)塊在HDFS上都會(huì)保存多份,保存在不同的DataNode上。這種是犧牲一定存儲(chǔ)空間換取可靠性的做法。

      接下來(lái)我們來(lái)看一下完整的文件寫入的流程:

      大文件要寫入HDFS,client端根據(jù)配置將大文件分成固定大小的塊,然后再上傳到HDFS。

      讀取文件的流程:

      1、client詢問NameNode,我要讀取某個(gè)路徑下的文件,麻煩告訴我這個(gè)文件都在哪些DataNode上?

      2、NameNode回復(fù)client,這個(gè)路徑下的文件被切成了3塊,分別在DataNode1、DataNode3和DataNode4上

      3、client去找DataNode1、DataNode3和DataNode4,拿到3個(gè)文件塊,通過stream讀取并且整合起來(lái)

      文件寫入的流程:

      1、client先將文件分塊,然后詢問NameNode,我要寫入一個(gè)文件到某個(gè)路徑下,文件有3塊,應(yīng)該怎么寫?

      2、NameNode回復(fù)client,可以分別寫到DataNode1、DataNode2、DataNode3、DataNode4上,記住,每個(gè)塊重復(fù)寫3份,總共是9份

      3、client找到DataNode1、DataNode2、DataNode3、DataNode4,把數(shù)據(jù)寫到他們上面

      出于容錯(cuò)的考慮,每個(gè)數(shù)據(jù)塊有3個(gè)備份,但是3個(gè)備份快都直接由client端直接寫入勢(shì)必會(huì)帶來(lái)client端過重的寫入壓力,這個(gè)點(diǎn)是否有更好的解決方案呢?回憶一下mysql主備之間是通過binlog文件進(jìn)行同步的,HDFS當(dāng)然也可以借鑒這個(gè)思想,數(shù)據(jù)其實(shí)只需要寫入到一個(gè)datanode上,然后由datanode之間相互進(jìn)行備份同步,減少了client端的寫入壓力,那么至于是一個(gè)datanode寫入成功即成功,還是需要所有的參與備份的datanode返回寫入成功才算成功,是可靠性配置的策略,當(dāng)然這個(gè)設(shè)置會(huì)影響到數(shù)據(jù)寫入的吞吐率,我們可以看到可靠性和效率永遠(yuǎn)是“魚和熊掌不可兼得”的。

      潛在問題

      NameNode確實(shí)會(huì)回放editlog,但是不是每次都從頭回放,它會(huì)先加載一個(gè)fsimage,這個(gè)文件是之前某一個(gè)時(shí)刻整個(gè)NameNode的文件元數(shù)據(jù)的內(nèi)存快照,然后再在這個(gè)基礎(chǔ)上回放editlog,完成后,會(huì)清空editlog,再把當(dāng)前文件元數(shù)據(jù)的內(nèi)存狀態(tài)寫入fsimage,方便下一次加載。

      這樣,全量回放就變成了增量回放,但是如果NameNode長(zhǎng)時(shí)間未重啟過,editlog依然會(huì)比較大,恢復(fù)的時(shí)間依然比較長(zhǎng),這個(gè)問題怎么解呢?

      SecondNameNode是一個(gè)NameNode內(nèi)的定時(shí)任務(wù)線程,它會(huì)定期地將editlog寫入fsimage,然后情況原來(lái)的editlog,從而保證editlog的文件大小維持在一定大小。

      NameNode掛了, SecondNameNode并不能替代NameNode,所以如果集群中只有一個(gè)NameNode,它掛了,整個(gè)系統(tǒng)就掛了。hadoop2.x之前,整個(gè)集群只能有一個(gè)NameNode,是有可能發(fā)生單點(diǎn)故障的,所以hadoop1.x有本身的不穩(wěn)定性。但是hadoop2.x之后,我們可以在集群中配置多個(gè)NameNode,就不會(huì)有這個(gè)問題了,但是配置多個(gè)NameNode,需要注意的地方就更多了,系統(tǒng)就更加復(fù)雜了。

      俗話說“一山不容二虎”,兩個(gè)NameNode只能有一個(gè)是活躍狀態(tài)active,另一個(gè)是備份狀態(tài)standby,我們看一下兩個(gè)NameNode的架構(gòu)圖。

      兩個(gè)NameNode通過JournalNode實(shí)現(xiàn)同步editlog,保持狀態(tài)一致可以相互替換。

      因?yàn)閍ctive的NameNode掛了之后,standby的NameNode要馬上接替它,所以它們的數(shù)據(jù)要時(shí)刻保持一致,在寫入數(shù)據(jù)的時(shí)候,兩個(gè)NameNode內(nèi)存中都要記錄數(shù)據(jù)的元信息,并保持一致。這個(gè)JournalNode就是用來(lái)在兩個(gè)NameNode中同步數(shù)據(jù)的,并且standby NameNode實(shí)現(xiàn)了SecondNameNode的功能。

      進(jìn)行數(shù)據(jù)同步操作的過程如下:

      active NameNode有操作之后,它的editlog會(huì)被記錄到JournalNode中,standby NameNode會(huì)從JournalNode中讀取到變化并進(jìn)行同步,同時(shí)standby NameNode會(huì)監(jiān)聽記錄的變化。這樣做的話就是實(shí)時(shí)同步了,并且standby NameNode就實(shí)現(xiàn)了SecondNameNode的功能。

      優(yōu)點(diǎn):

      缺點(diǎn):

      阿里云的mysql數(shù)據(jù)庫(kù) 購(gòu)買注意什么

      按照你的需求來(lái)購(gòu)買,比如 : 數(shù)據(jù)庫(kù)選型(mysql,nosql) 內(nèi)存多大 磁盤多大 等等


      當(dāng)前題目:nosql需要注意什么,要學(xué)好nosql要哪三種途徑
      網(wǎng)頁(yè)地址:http://www.ef60e0e.cn/article/hohdpi.html
      99热在线精品一区二区三区_国产伦精品一区二区三区女破破_亚洲一区二区三区无码_精品国产欧美日韩另类一区
      1. <ul id="0c1fb"></ul>

        <noscript id="0c1fb"><video id="0c1fb"></video></noscript>
        <noscript id="0c1fb"><listing id="0c1fb"><thead id="0c1fb"></thead></listing></noscript>

        株洲县| 元朗区| 晋江市| 交城县| 获嘉县| 洞口县| 榆林市| 百色市| 长泰县| 建宁县| 湖南省| 阆中市| 库尔勒市| 渑池县| 双鸭山市| 新干县| 卢龙县| 康乐县| 龙游县| 什邡市| 新龙县| 宣汉县| 赫章县| 醴陵市| 陆河县| 淳安县| 四平市| 辛集市| 栖霞市| 沈阳市| 正阳县| 明溪县| 章丘市| 濮阳市| 金门县| 巢湖市| 台中市| 遂昌县| 萨嘎县| 于都县| 酒泉市|