新聞中心
本篇文章給大家分享的是有關(guān)基于akka和data-sketch技術(shù)的實(shí)時數(shù)據(jù)統(tǒng)計服務(wù)是怎么樣的,小編覺得挺實(shí)用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
我們是自2013年創(chuàng)立以來的成都網(wǎng)站建設(shè)公司,提供網(wǎng)站建設(shè),電商網(wǎng)站設(shè)計開發(fā),外貿(mào)網(wǎng)站制作,響應(yīng)式網(wǎng)頁設(shè)計,重慶小程序開發(fā)、等服務(wù)。為客戶創(chuàng)造有價值的品牌營銷體驗(yàn),讓互聯(lián)網(wǎng)提升企業(yè)的競爭力!
實(shí)時流數(shù)據(jù)分析服務(wù): 實(shí)時提交分析數(shù)據(jù),實(shí)時獲取分析結(jié)果
之前一直在一家公司做埋點(diǎn)的后臺數(shù)據(jù)處理分析程序,在碰到很多問題后就產(chǎn)生一個想法,能不能直接弄一個數(shù)據(jù)分析服務(wù),
用戶可以隨時調(diào)用分析服務(wù)的接口提交分析數(shù)據(jù)和獲取分析結(jié)果
技術(shù)背景:
data-sketch對常見的統(tǒng)計需求,如count(distinct), quantiles, topN等 在精確程度,存儲成本,計算成本之間進(jìn)行了折衷,對每一個計算元素只touch一次的情況下,得到精度相當(dāng)高的統(tǒng)計結(jié)果。
akka是一個實(shí)現(xiàn)了actor pattern的異步編程 library。業(yè)務(wù)功能都被封閉成actor, 相互之間的調(diào)用或狀態(tài)改變,通過message傳遞完成,無狀態(tài)共享.
目前封裝了三種計算模型:
theta sketch:基數(shù)計算,即計算count(distinct)
quantile sketch:分位數(shù)計算,即計算一系列數(shù)值的分布情況
frequency sketch:頻率計算,即topn計算
數(shù)據(jù)安全性:
提交數(shù)據(jù)使用wss,獲取數(shù)據(jù)使用https,數(shù)據(jù)不會被中途截取
后臺服務(wù)不存儲任何原始數(shù)據(jù),算后即扔,服務(wù)端只有分析后的數(shù)據(jù)
相關(guān)計算參數(shù),比如userid,business,可以hash或混淆后再傳值
由于目前只做authenticate,開發(fā)者應(yīng)注意appid的保密性,建議后臺調(diào)用
目前整個服務(wù)后臺算是完成了0.5左右吧,由于是試驗(yàn)性質(zhì),目前只用了一臺阿里云的ES,下一步要做的工作有兩方面,
1. 增加統(tǒng)計模型
2. 增加對akka cluster 的支持,使整個后臺服務(wù)能力可擴(kuò)展
以上就是基于akka和data-sketch技術(shù)的實(shí)時數(shù)據(jù)統(tǒng)計服務(wù)是怎么樣的,小編相信有部分知識點(diǎn)可能是我們?nèi)粘9ぷ鲿姷交蛴玫降摹OM隳芡ㄟ^這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
網(wǎng)站題目:基于akka和data-sketch技術(shù)的實(shí)時數(shù)據(jù)統(tǒng)計服務(wù)是怎么樣的
標(biāo)題來源:http://www.ef60e0e.cn/article/jdeiop.html