建站
咨詢
售后
建站咨詢
新聞中心
【技術(shù)沙龍002期】數(shù)據(jù)中臺(tái)：宜信敏捷數(shù)據(jù)中臺(tái)建設(shè)實(shí)踐|宜信技術(shù)沙龍 將于5月23日晚8點(diǎn)線上直播，點(diǎn)擊報(bào)名
創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),鳳陽企業(yè)網(wǎng)站建設(shè),鳳陽品牌網(wǎng)站建設(shè),網(wǎng)站定制,鳳陽網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,鳳陽網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。LAIN是宜信公司大數(shù)據(jù)創(chuàng)新中心開發(fā)的開源PaaS平臺(tái)。在金融的場景下，LAIN 是為解放各個(gè)團(tuán)隊(duì)和業(yè)務(wù)線的生產(chǎn)力而設(shè)計(jì)的一個(gè)云平臺(tái)。LAIN 為宜信大數(shù)據(jù)創(chuàng)新中心各個(gè)團(tuán)隊(duì)提供了統(tǒng)一的測試和生產(chǎn)環(huán)境，簡化了服務(wù)的部署與上線流程，也降低了運(yùn)維人員對(duì)系統(tǒng)管理的復(fù)雜度。
一、設(shè)計(jì)理念及解決問題
LAIN 規(guī)范了一個(gè)應(yīng)用的開發(fā)、測試、上線工作流，提供了為應(yīng)用做的容器編排、權(quán)限控制、SDN、流量管理、監(jiān)控報(bào)警、備份、日志等 devops 問題的整體解決方案。
在 LAIN 上，應(yīng)用是一個(gè)基本的概念，某個(gè)應(yīng)用的開發(fā)者只需要定義一個(gè) lain.yaml 即可定義應(yīng)用的編譯和運(yùn)行方式，對(duì)應(yīng)用代碼侵入性很低。LAIN 基于容器技術(shù)，面向多樣化的技術(shù)棧，并且天然隔離系統(tǒng)和應(yīng)用的依賴。
當(dāng) LAIN 用戶創(chuàng)建一個(gè)應(yīng)用（服務(wù)）時(shí)，可以到 LAIN 上注冊(cè)該應(yīng)用，當(dāng)前的用戶自動(dòng)成為了該應(yīng)用的維護(hù)者，擁有了進(jìn)一步操作該應(yīng)用的權(quán)限。構(gòu)建應(yīng)用的環(huán)境需要 docker 和 lain 命令行工具，為了方便，我們創(chuàng)建了一個(gè) vagrant box 即 lain-box. 在構(gòu)建應(yīng)用時(shí)，除了工程代碼外，還需要一個(gè) Docker 鏡像作為基礎(chǔ)鏡像，即編譯的環(huán)境。如果是二進(jìn)制的工程，如 golang，則可以在運(yùn)行時(shí)換掉一個(gè)底，否則會(huì)使用 build 鏡像為 release 鏡像。準(zhǔn)備好鏡像和編譯／運(yùn)行的腳本后，就可以編輯 lain.yaml 了。
具體來說，LAIN 解決了以下四個(gè)問題：
1、應(yīng)用開發(fā)之下的devops問題的整體解決方案
常見問題
- 面對(duì)用戶的應(yīng)用級(jí)開發(fā)僅僅是冰山一角，在此之下有機(jī)房、網(wǎng)絡(luò)、服務(wù)器、系統(tǒng)管理、運(yùn)維管理、監(jiān)控、告警、日志等等一系列背后的工作，而這部份的工作可能比應(yīng)用級(jí)開發(fā)還要復(fù)雜
- 采用IaaS解決了服務(wù)器采購和上架問題，但是依然需要一個(gè)強(qiáng)大的devops團(tuán)隊(duì)來負(fù)責(zé)上述事務(wù)，否則基礎(chǔ)設(shè)施很容易成為發(fā)展瓶頸，且越拖越難解決
- 上面的這些工作對(duì)于每一個(gè)產(chǎn)品可能都是同質(zhì)化但又伴隨著定制，會(huì)消耗大量的時(shí)間做這些重復(fù)的工作
Lain是怎么做的
- 直接在幾乎裸的IaaS或者服務(wù)器上即可構(gòu)建lain集群，方便地進(jìn)行在線的擴(kuò)容縮容等集群底層資源操作
- 整合了業(yè)界沉淀下來的良好的運(yùn)維整體實(shí)踐，提供了冰山下的這一大塊工作的整體解決方案
- 將紛繁復(fù)雜的系統(tǒng)管理和運(yùn)維管理行為封裝為更簡單易用的工具包，極大簡化大部分的系統(tǒng)工作，降低日常維護(hù)的技術(shù)門檻和人力需求
- 將同質(zhì)化的工作整合在一起，避免重復(fù)勞動(dòng)
- 開箱即用的各種管理組件，囊括了部署，擴(kuò)容，監(jiān)控，告警，日志等方方面面。還有附贈(zèng)應(yīng)用，包括mysql，redis的集群服務(wù)
2、規(guī)范了應(yīng)用開發(fā)的工作流程，并輔以適當(dāng)?shù)腟CM支援
常見問題
- 在個(gè)人開發(fā)者以及startup組織中，良好的工作流這件事幾乎是不會(huì)被提及的，然而在日漸發(fā)展的過程中遺留的技術(shù)債務(wù)卻會(huì)越來越多的影響開發(fā)部署的效率和質(zhì)量
- 設(shè)計(jì)、開發(fā)和部署行為的不規(guī)范會(huì)引發(fā)各種問題
Lain是怎么做的
- 提供本地開發(fā)環(huán)境的解決方案
- 提供本地開發(fā)過程的SDK / CLI工具鏈，使得開發(fā)和構(gòu)建過程是嵌入在解決方案中的
- 隱性的提供了SCM支援，約束了開發(fā)者的開發(fā)和發(fā)布行為
3、提高整體資源利用率，優(yōu)化冗余資源池
常見問題
- 傳統(tǒng)的按照產(chǎn)品線規(guī)劃資源池的情況下，會(huì)給各產(chǎn)品預(yù)留專屬的資源池以及配備冗余，以便進(jìn)行災(zāi)備以及服務(wù)突發(fā)流量
- 然而各產(chǎn)品線的資源需求類型不同，冗余類型也不同，無法共通共享，造成眾多的重復(fù)冗余，資源利用率比較低
- 通過服務(wù)器資源的冗余，擴(kuò)容縮容，以及資源遷移的操作比較復(fù)雜，時(shí)間消耗大，風(fēng)險(xiǎn)高
Lain是怎么做的
- 通過容器技術(shù)的資源隔離和控制，實(shí)現(xiàn)多種技術(shù)棧多種應(yīng)用在集群內(nèi)安全的不相互影響的混合部署，通過統(tǒng)一的資源池進(jìn)行冗余，有效提高資源利用率
- 容器技術(shù)的運(yùn)用使得對(duì)下資源的使用形成完全統(tǒng)一的形式，擴(kuò)容縮容以及遷移的成本很低，操作也更簡單。
4、TBD：架構(gòu)上提供了服務(wù)治理的可能性和解決方案
二、特征
在應(yīng)用的層面上，LAIN 還有以下特征：
1、基于配置文件定義應(yīng)用
- 在現(xiàn)有的應(yīng)用上只需要增加一個(gè)配置文件lain.yaml即可定義應(yīng)用在lain集群里的編譯和運(yùn)行
- 對(duì)應(yīng)用代碼的侵入性很低
2、SDN網(wǎng)絡(luò)安全隔離
- 使用開源的calico(https://github.com/projectcalico/calico)項(xiàng)目構(gòu)建SDN網(wǎng)絡(luò)
- 高效率的應(yīng)用內(nèi)網(wǎng)絡(luò)互通
- 應(yīng)用間網(wǎng)絡(luò)默認(rèn)隔離
- 顯式聲明應(yīng)用間的服務(wù)互訪
3、基于容器技術(shù)支持多樣化的技術(shù)棧
- 使用開源的docker項(xiàng)目構(gòu)建容器云
- 擴(kuò)展封裝Dockerfile，使用自定義的yaml格式進(jìn)行應(yīng)用的集群定義
- 只需符合最簡單的lain cluster runtime interface，可自由選擇base image
- 容器技術(shù)天然的支持隔離系統(tǒng)和應(yīng)用的依賴
- lain SDK / CLI以及可選的ci組件支援代碼版本和鏡像之間的對(duì)應(yīng)關(guān)系
- 編譯時(shí)和運(yùn)行時(shí)鏡像均可完全定制和隔離
4、應(yīng)用在線擴(kuò)容縮容
- 使用開源的swarm調(diào)度應(yīng)用部署
- 深度封裝swarm docker API，自行開發(fā)集群控制器（deployd）以及應(yīng)用控制器（console）
- 直接支持用戶API調(diào)用進(jìn)行容器實(shí)例數(shù)擴(kuò)容，縮容
- 直接支持用戶API調(diào)用進(jìn)行容器單實(shí)例資源的擴(kuò)容，縮容（CPU，MEM）
5、節(jié)點(diǎn)在線擴(kuò)容縮容
- 使用開源的ansible(https://github.com/ansible/ansible)開發(fā)集群管理運(yùn)維工具包
- 集群的服務(wù)器節(jié)點(diǎn)（NODE）兼容同一個(gè)C段內(nèi)的物理服務(wù)器，虛擬機(jī)，公有云服務(wù)器
- 集群管理工具包支持add NODE 和 remove NODE 指令，快速進(jìn)行底層資源擴(kuò)容和縮容
6、服務(wù)自動(dòng)維持和災(zāi)難恢復(fù)
- 自行開發(fā)集群控制器（deployd）
- 容器實(shí)例級(jí)別的服務(wù)巡檢和維持，自動(dòng)遷移和服務(wù)恢復(fù)
- 基于虛ip自動(dòng)漂移的入口load balancer HA
- 高級(jí)API支持服務(wù)定制遷移
7、內(nèi)部服務(wù)依賴和發(fā)現(xiàn)機(jī)制
- 集群支援Service / Resource 機(jī)制
- 集群整體的服務(wù)應(yīng)用
- 應(yīng)用私有Service （即 Resource）服務(wù)應(yīng)用
- 集群支援特別的服務(wù)應(yīng)用類型和資源應(yīng)用類型
- 在lain.yaml中顯式聲明使用的Service / Resource
- 基于DNS的服務(wù)發(fā)現(xiàn)機(jī)制
- 可編程的service/resource load balancer
- 默認(rèn)提供可用的RoundRobin類型的load balancer
8、統(tǒng)一認(rèn)證
- 集群自行開發(fā)統(tǒng)一認(rèn)證組件（sso）
- 支持oauth3的多種認(rèn)證方式
9、虛ip和負(fù)載均衡器統(tǒng)一管理
- 支援 virtual ip 和 應(yīng)用 proc 的注冊(cè)，應(yīng)用可注冊(cè) virtual ip 來進(jìn)行對(duì)外服務(wù)
- 基于etcd lock機(jī)制的virtual ip 漂移機(jī)制，應(yīng)用 load balancer 可借此實(shí)現(xiàn) HA
10、web load balancer的自動(dòng)配置
- 使用開源的nginx和tengine(https://github.com/alibaba/tengine)封裝web服務(wù)的負(fù)載均衡器
- 自研的watcher檢測集群應(yīng)用的整體 runtime 數(shù)據(jù)，自動(dòng)為 web 服務(wù)生成配置
- 獲取runtime變化的時(shí)間，判斷是否需要進(jìn)行配置變更
- 配置變更事件出發(fā)配置的渲染
- 觸發(fā) reload 生效
11、集群體系化的日志收集
- 使用開源的 heka(https://github.com/mozilla-services/heka)配合docker的配置以及rsyslog封裝集群整體日志收集
- 默認(rèn)收集應(yīng)用的stdout / stderr日志收集
- 支援應(yīng)用顯式聲明需要收集的落地文件日志
- 支援應(yīng)用顯式聲明結(jié)構(gòu)化的監(jiān)控?cái)?shù)據(jù)日志
- 定制檢測web服務(wù)load balancer的nginx日志收集和數(shù)據(jù)統(tǒng)計(jì)
12、私有docker registry以及認(rèn)證機(jī)制
- 使用開源的docker registry封裝私有 registry 應(yīng)用
- 集成支援集群的私有統(tǒng)一認(rèn)證機(jī)制
- 定制支援可選的moosefs存儲(chǔ)后端或者Ceph存儲(chǔ)后端
13、應(yīng)用配置加密存儲(chǔ)
- 使用開源的庫封裝的應(yīng)用私有配置加密存儲(chǔ)組件
- 集成sso組件實(shí)現(xiàn)用戶管理和權(quán)限隔離
- 在應(yīng)用運(yùn)行時(shí)階段將配置注入
14、本地化開發(fā)環(huán)境
- 使用開源的vagrant，免費(fèi)的centos和virtualbox組織統(tǒng)一的本地化開發(fā)環(huán)境
- 甚至支援本地使用上述工具鏈bootstrap出一個(gè)lain本地集群
15、應(yīng)用部署運(yùn)維API以及相應(yīng)的CLI客戶端
- 應(yīng)用的構(gòu)建，發(fā)布，部署，運(yùn)維都由集群的各組件提供API
- 使用lain SDK / CLI再次封裝上述API，給用戶提供良好的操作界面
- 集成集群的統(tǒng)一認(rèn)證，進(jìn)行用戶管理和權(quán)限隔離
16、集群管理CLI
- 使用開源的ansible開發(fā)集群管理運(yùn)維工具包
- 再次封裝ansible調(diào)用為簡單的CLI使得操作更方便，包括增加節(jié)點(diǎn)，移除節(jié)點(diǎn)，遷移應(yīng)用，集群健康檢查等。
17、規(guī)范化的開發(fā)workflow
- 基于上述組件，以代碼 - 鏡像的一一對(duì)應(yīng)關(guān)系進(jìn)行SCM，對(duì)鏡像進(jìn)行發(fā)布管理
- 使用lain SDK / CLI以及可選的ci組件進(jìn)行本地開發(fā)，構(gòu)建發(fā)布，會(huì)很自然的規(guī)范開發(fā)workflow
- 工作流運(yùn)轉(zhuǎn)的核心單位是鏡像，lain cli封裝了鏡像的生成，更新，推送，部署，運(yùn)維
18、可選的集群體系化的備份和恢復(fù)（backupd + moosefs）
- 采用開源的moosefs作為分布式存儲(chǔ)后端
- 支援在lain.yaml中顯式聲明volume備份需求和策略，以及設(shè)定備份策略的hooks
- 支援指定備份恢復(fù)
19、可選的集群日志查詢組件（kafka + elasticsearch + kibana）
- 采用開源的kakfa ，elasticsearch，kibana搭建外部依賴的卡夫卡集群和elasticsearch集群，封裝集群可選組件libana
- rebellion集群日志收集組件支援發(fā)送所有日志到上述外部依賴kafka
- 在libana上支援對(duì)集群應(yīng)用日志和web load balancer 日志的條件組合查詢
20、可選的系列預(yù)置應(yīng)用
- MySQL的服務(wù)(https://github.com/laincloud/mysql-service)
- MySQL的資源
- Redis的服務(wù)-SM(https://github.com/laincloud/redis-service-sm)
三、系統(tǒng)架構(gòu)
1、物理視圖
從物理層面看，每一個(gè) lain 集群是由一個(gè)或多個(gè)網(wǎng)絡(luò)互通的節(jié)點(diǎn)（Node）構(gòu)成的。
每個(gè)節(jié)點(diǎn)可以被賦予不同的 label ，供容器調(diào)度時(shí)進(jìn)行節(jié)點(diǎn)選擇使用。
目前的實(shí)現(xiàn)中，需要所有節(jié)點(diǎn)位于同一個(gè)路由器后。
2、邏輯視圖
從邏輯層面看，一個(gè) lain 集群是由多個(gè)應(yīng)用組成，應(yīng)用和應(yīng)用之間網(wǎng)絡(luò)相互隔離（通過SDN技術(shù)）。
每一個(gè)應(yīng)用是由多個(gè) Docker 容器組成，每個(gè)容器都可能運(yùn)行在不同的節(jié)點(diǎn)上。
應(yīng)用開發(fā)者可以在一個(gè)應(yīng)用中定義多種容器（稱為 proc），每個(gè) proc 可以指定為在集群上運(yùn)行多份，每份即為一個(gè)容器，被稱為 proc instance 。Lain 集群會(huì)盡可能保證有指定份數(shù)的容器在運(yùn)行，如果有容器 crash 或者節(jié)點(diǎn) fail 的情況發(fā)生，集群會(huì)試圖重啟容器或者在節(jié)點(diǎn)間遷移容器。
3、系統(tǒng)架構(gòu)設(shè)計(jì)圖
目標(biāo)是做成一層一層可以深入的架構(gòu)圖
總圖
節(jié)點(diǎn)
4、工作流程
GitHub地址：https://github.com/laincloud
白皮書：https://laincloud.gitbooks.io/white-paper/content/
來源宜信技術(shù)學(xué)院
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
網(wǎng)站標(biāo)題：宜信開源|詳解PaaS平臺(tái)LAIN的功能和架構(gòu)-創(chuàng)新互聯(lián)
分享路徑：http://www.ef60e0e.cn/article/cejpsc.html
