新聞中心
怎么利用php mysql 在網(wǎng)頁上制作直方圖
可以配合css樣式實(shí)現(xiàn),如果讀取的數(shù)據(jù)為59%。則css樣式高度為59%
專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)思茅免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動(dòng)了成百上千家企業(yè)的穩(wěn)健成長(zhǎng),幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
我有一組數(shù)據(jù)想要做正態(tài)分布圖,怎么做才能出現(xiàn)數(shù)軸和置信度?
你可以用EXCEL做,先把數(shù)據(jù)輸入到兩列中(橫坐標(biāo)在左列).在插入菜單中選者圖表,然后選擇xy散點(diǎn)圖,選擇合適的圖樣,然后按住鼠標(biāo)左鍵拖動(dòng)鼠標(biāo)選擇整個(gè)數(shù)據(jù)區(qū)域,在下一步的標(biāo)題中x軸處輸入"數(shù)軸",y軸處輸入置信度.如果你的數(shù)據(jù)符合正態(tài)分布,圖就是正態(tài)分布圖.
數(shù)值可以在WORD文檔里做.選中圖形,然后單擊右鍵,有個(gè)編輯選項(xiàng).然后一個(gè)一個(gè)改就是了。
php的memcached分布式hash算法,如何解決分布不均?crc32這個(gè)算法沒辦法把key值均勻的分布出去
memcached的總結(jié)和分布式一致性hash
當(dāng)前很多大型的web系統(tǒng)為了減輕數(shù)據(jù)庫服務(wù)器負(fù)載,會(huì)采用memchached作為緩存系統(tǒng)以提高響應(yīng)速度。
目錄: ()
memchached簡(jiǎn)介
hash
取模
一致性hash
虛擬節(jié)點(diǎn)
源碼解析
參考資料
1. memchached簡(jiǎn)介
memcached是一個(gè)開源的高性能分布式內(nèi)存對(duì)象緩存系統(tǒng)。
其實(shí)思想還是比較簡(jiǎn)單的,實(shí)現(xiàn)包括server端(memcached開源項(xiàng)目一般只單指server端)和client端兩部分:
server端本質(zhì)是一個(gè)in-memory key-value store,通過在內(nèi)存中維護(hù)一個(gè)大的hashmap用來存儲(chǔ)小塊的任意數(shù)據(jù),對(duì)外通過統(tǒng)一的簡(jiǎn)單接口(memcached protocol)來提供操作。
client端是一個(gè)library,負(fù)責(zé)處理memcached protocol的網(wǎng)絡(luò)通信細(xì)節(jié),與memcached server通信,針對(duì)各種語言的不同實(shí)現(xiàn)分裝了易用的API實(shí)現(xiàn)了與不同語言平臺(tái)的集成。
web系統(tǒng)則通過client庫來使用memcached進(jìn)行對(duì)象緩存。
2. hash
memcached的分布式主要體現(xiàn)在client端,對(duì)于server端,僅僅是部署多個(gè)memcached server組成集群,每個(gè)server獨(dú)自維護(hù)自己的數(shù)據(jù)(互相之間沒有任何通信),通過daemon監(jiān)聽端口等待client端的請(qǐng)求。
而在client端,通過一致的hash算法,將要存儲(chǔ)的數(shù)據(jù)分布到某個(gè)特定的server上進(jìn)行存儲(chǔ),后續(xù)讀取查詢使用同樣的hash算法即可定位。
client端可以采用各種hash算法來定位server:
取模
最簡(jiǎn)單的hash算法
targetServer = serverList[hash(key) % serverList.size]
直接用key的hash值(計(jì)算key的hash值的方法可以自由選擇,比如算法CRC32、MD5,甚至本地hash系統(tǒng),如java的hashcode)模上server總數(shù)來定位目標(biāo)server。這種算法不僅簡(jiǎn)單,而且具有不錯(cuò)的隨機(jī)分布特性。
但是問題也很明顯,server總數(shù)不能輕易變化。因?yàn)槿绻黾?減少memcached server的數(shù)量,對(duì)原先存儲(chǔ)的所有key的后續(xù)查詢都將定位到別的server上,導(dǎo)致所有的cache都不能被命中而失效。
一致性hash
為了解決這個(gè)問題,需要采用一致性hash算法(consistent hash)
相對(duì)于取模的算法,一致性hash算法除了計(jì)算key的hash值外,還會(huì)計(jì)算每個(gè)server對(duì)應(yīng)的hash值,然后將這些hash值映射到一個(gè)有限的值域上(比如0~2^32)。通過尋找hash值大于hash(key)的最小server作為存儲(chǔ)該key數(shù)據(jù)的目標(biāo)server。如果找不到,則直接把具有最小hash值的server作為目標(biāo)server。
為了方便理解,可以把這個(gè)有限值域理解成一個(gè)環(huán),值順時(shí)針遞增。
如上圖所示,集群中一共有5個(gè)memcached server,已通過server的hash值分布到環(huán)中。
如果現(xiàn)在有一個(gè)寫入cache的請(qǐng)求,首先計(jì)算x=hash(key),映射到環(huán)中,然后從x順時(shí)針查找,把找到的第一個(gè)server作為目標(biāo)server來存儲(chǔ)cache,如果超過了2^32仍然找不到,則命中第一個(gè)server。比如x的值介于A~B之間,那么命中的server節(jié)點(diǎn)應(yīng)該是B節(jié)點(diǎn)
可以看到,通過這種算法,對(duì)于同一個(gè)key,存儲(chǔ)和后續(xù)的查詢都會(huì)定位到同一個(gè)memcached server上。
那么它是怎么解決增/刪server導(dǎo)致的cache不能命中的問題呢?
假設(shè),現(xiàn)在增加一個(gè)server F,如下圖
此時(shí),cache不能命中的問題仍然存在,但是只存在于B~F之間的位置(由C變成了F),其他位置(包括F~C)的cache的命中不受影響(刪除server的情況類似)。盡管仍然有cache不能命中的存在,但是相對(duì)于取模的方式已經(jīng)大幅減少了不能命中的cache數(shù)量。
虛擬節(jié)點(diǎn)
但是,這種算法相對(duì)于取模方式也有一個(gè)缺陷:當(dāng)server數(shù)量很少時(shí),很可能他們?cè)诃h(huán)中的分布不是特別均勻,進(jìn)而導(dǎo)致cache不能均勻分布到所有的server上。
如圖,一共有3臺(tái)server – 1,2,4。命中4的幾率遠(yuǎn)遠(yuǎn)高于1和2。
為解決這個(gè)問題,需要使用虛擬節(jié)點(diǎn)的思想:為每個(gè)物理節(jié)點(diǎn)(server)在環(huán)上分配100~200個(gè)點(diǎn),這樣環(huán)上的節(jié)點(diǎn)較多,就能抑制分布不均勻。
當(dāng)為cache定位目標(biāo)server時(shí),如果定位到虛擬節(jié)點(diǎn)上,就表示cache真正的存儲(chǔ)位置是在該虛擬節(jié)點(diǎn)代表的實(shí)際物理server上。
另外,如果每個(gè)實(shí)際server的負(fù)載能力不同,可以賦予不同的權(quán)重,根據(jù)權(quán)重分配不同數(shù)量的虛擬節(jié)點(diǎn)。
// 采用有序map來模擬環(huán)
this.consistentBuckets = new TreeMap();
MessageDigest md5 = MD5.get();//用MD5來計(jì)算key和server的hash值
// 計(jì)算總權(quán)重
if ( this.totalWeight for ( int i = 0; i this.weights.length; i++ )
this.totalWeight += ( this.weights[i] == null ) ? 1 : this.weights[i];
} else if ( this.weights == null ) {
this.totalWeight = this.servers.length;
}
// 為每個(gè)server分配虛擬節(jié)點(diǎn)
for ( int i = 0; i servers.length; i++ ) {
// 計(jì)算當(dāng)前server的權(quán)重
int thisWeight = 1;
if ( this.weights != null this.weights[i] != null )
thisWeight = this.weights[i];
// factor用來控制每個(gè)server分配的虛擬節(jié)點(diǎn)數(shù)量
// 權(quán)重都相同時(shí),factor=40
// 權(quán)重不同時(shí),factor=40*server總數(shù)*該server權(quán)重所占的百分比
// 總的來說,權(quán)重越大,factor越大,可以分配越多的虛擬節(jié)點(diǎn)
double factor = Math.floor( ((double)(40 * this.servers.length * thisWeight)) / (double)this.totalWeight );
for ( long j = 0; j factor; j++ ) {
// 每個(gè)server有factor個(gè)hash值
// 使用server的域名或IP加上編號(hào)來計(jì)算hash值
// 比如server - "172.45.155.25:11111"就有factor個(gè)數(shù)據(jù)用來生成hash值:
// 172.45.155.25:11111-1, 172.45.155.25:11111-2, ..., 172.45.155.25:11111-factor
byte[] d = md5.digest( ( servers[i] + "-" + j ).getBytes() );
// 每個(gè)hash值生成4個(gè)虛擬節(jié)點(diǎn)
for ( int h = 0 ; h 4; h++ ) {
Long k =
((long)(d[3+h*4]0xFF) 24)
| ((long)(d[2+h*4]0xFF) 16)
| ((long)(d[1+h*4]0xFF) 8 )
| ((long)(d[0+h*4]0xFF));
// 在環(huán)上保存節(jié)點(diǎn)
consistentBuckets.put( k, servers[i] );
}
}
// 每個(gè)server一共分配4*factor個(gè)虛擬節(jié)點(diǎn)
}
// 采用有序map來模擬環(huán)
this.consistentBuckets = new TreeMap();
MessageDigest md5 = MD5.get();//用MD5來計(jì)算key和server的hash值
// 計(jì)算總權(quán)重
if ( this.totalWeight for ( int i = 0; i this.weights.length; i++ )
this.totalWeight += ( this.weights[i] == null ) ? 1 : this.weights[i];
} else if ( this.weights == null ) {
this.totalWeight = this.servers.length;
}
// 為每個(gè)server分配虛擬節(jié)點(diǎn)
for ( int i = 0; i servers.length; i++ ) {
// 計(jì)算當(dāng)前server的權(quán)重
int thisWeight = 1;
if ( this.weights != null this.weights[i] != null )
thisWeight = this.weights[i];
// factor用來控制每個(gè)server分配的虛擬節(jié)點(diǎn)數(shù)量
// 權(quán)重都相同時(shí),factor=40
// 權(quán)重不同時(shí),factor=40*server總數(shù)*該server權(quán)重所占的百分比
// 總的來說,權(quán)重越大,factor越大,可以分配越多的虛擬節(jié)點(diǎn)
double factor = Math.floor( ((double)(40 * this.servers.length * thisWeight)) / (double)this.totalWeight );
for ( long j = 0; j factor; j++ ) {
// 每個(gè)server有factor個(gè)hash值
// 使用server的域名或IP加上編號(hào)來計(jì)算hash值
// 比如server - "172.45.155.25:11111"就有factor個(gè)數(shù)據(jù)用來生成hash值:
// 172.45.155.25:11111-1, 172.45.155.25:11111-2, ..., 172.45.155.25:11111-factor
byte[] d = md5.digest( ( servers[i] + "-" + j ).getBytes() );
// 每個(gè)hash值生成4個(gè)虛擬節(jié)點(diǎn)
for ( int h = 0 ; h 4; h++ ) {
Long k =
((long)(d[3+h*4]0xFF) 24)
| ((long)(d[2+h*4]0xFF) 16)
| ((long)(d[1+h*4]0xFF) 8 )
| ((long)(d[0+h*4]0xFF));
// 在環(huán)上保存節(jié)點(diǎn)
consistentBuckets.put( k, servers[i] );
}
}
// 每個(gè)server一共分配4*factor個(gè)虛擬節(jié)點(diǎn)
}
// 用MD5來計(jì)算key的hash值
MessageDigest md5 = MD5.get();
md5.reset();
md5.update( key.getBytes() );
byte[] bKey = md5.digest();
// 取MD5值的低32位作為key的hash值
long hv = ((long)(bKey[3]0xFF) 24) | ((long)(bKey[2]0xFF) 16) | ((long)(bKey[1]0xFF) 8 ) | (long)(bKey[0]0xFF);
// hv的tailMap的第一個(gè)虛擬節(jié)點(diǎn)對(duì)應(yīng)的即是目標(biāo)server
SortedMap tmap = this.consistentBuckets.tailMap( hv );
return ( tmap.isEmpty() ) ? this.consistentBuckets.firstKey() : tmap.firstKey();
更多問題到問題求助專區(qū)()
請(qǐng)問php有辦法識(shí)別一張圖片色塊分布嗎?比如找出最適合添加文字的地方
理論上肯定是可以的。不過這應(yīng)該是一個(gè)很高深的東西。所以,我只能給你我很粗淺的方法:
一:寫個(gè)函數(shù),這個(gè)函數(shù)的主要功能是找出一張圖片上的主要顏色(代碼在最后面)
二:把一張圖片有GD庫分成9份(3*3)或更多份,然后用第一個(gè)函數(shù)來取得每一份小圖的主要顏色。
三:比對(duì)這幾份小圖的顏色,看哪一份的顏色是你需要的。
如果你原意,你也可以切很多份,比如10000份(100*100),然后計(jì)算這10000個(gè)顏色的中你需要的顏色的分布,找出你需要的區(qū)域。
$i = imagecreatefromjpeg("image.jpg");
for ($x=0;$ximagesx($i);$x++) {
for ($y=0;$yimagesy($i);$y++) {
$rgb = imagecolorat($i,$x,$y);
$r = ($rgb 16) 0xFF;
$g = ($rgb 0xFF;
$b = $rgb 0xFF;
$rTotal += $r;
$gTotal += $g;
$bTotal += $b;
$total++;
}
}
$rAverage = round($rTotal/$total);
$gAverage = round($gTotal/$total);
$bAverage = round($bTotal/$total);
php-紅黑樹、散列表、跳表理解入門
就是把鏈表的結(jié)構(gòu)稍加改造,這種數(shù)據(jù)結(jié)構(gòu)叫
為了提升鏈表的查詢效率,怎么讓鏈表支持類似‘?dāng)?shù)組’那樣的‘二分’算法呢
跳表是一個(gè)各方面性能都比較優(yōu)秀的 動(dòng)態(tài)數(shù)據(jù)結(jié)構(gòu) ,可以支持快速地插入、刪除、查找操作,寫起來也不復(fù)雜,甚至可以替代紅黑樹。
Redis 中的有序集合(Sorted Set)就是用跳表來實(shí)現(xiàn)的。
那 Redis 為什么會(huì)選擇用跳表(和散列表)來實(shí)現(xiàn)有序集合呢? 為什么不用紅黑樹呢?這個(gè)問題一會(huì)在回答,先看看跳表的數(shù)據(jù)結(jié)構(gòu)
其實(shí)概念很簡(jiǎn)單,就是在鏈表上加上了
當(dāng)我們?cè)诓煌2迦霐?shù)據(jù),如果我們不更新索引,可能出現(xiàn)某 2 個(gè)索引結(jié)點(diǎn)之間數(shù)據(jù)非常多的情況。極端情況下,跳表還會(huì)退化成單鏈表。
紅黑樹、AVL 樹這樣平衡二叉樹,是通過左右旋的方式保持左右子樹的大小平衡,而跳表是通過 隨機(jī)函數(shù) 來維護(hù)平衡性。
插入、刪除、查找以及迭代輸出有序序列這幾個(gè)操作,紅黑樹也可以完成,時(shí)間復(fù)雜度跟跳表是一樣的。但是, 按照區(qū)間來查找數(shù)據(jù)這個(gè)操作,紅黑樹的效率沒有跳表高。
對(duì)于按照區(qū)間查找數(shù)據(jù)這個(gè)操作,跳表可以做到 O(logn) 的時(shí)間復(fù)雜度定位區(qū)間的起點(diǎn),然后在原始鏈表中順序往后遍歷就可以了。
Redis 鍵值構(gòu)建一個(gè)散列表,這樣按照 key 來刪除、查找一個(gè)成員對(duì)象的時(shí)間復(fù)雜度就變成了 O(1)。同時(shí),借助跳表結(jié)構(gòu),其他操作也非常高效。
散列表的英文叫“Hash Table”,我們平時(shí)也叫它“哈希表”或者“Hash 表”
散列技術(shù)是在記錄的存儲(chǔ)位置和它的關(guān)鍵字之間建立一個(gè)確定的對(duì)應(yīng)關(guān)系 f,使得每個(gè)關(guān)鍵字 key 對(duì)應(yīng)一個(gè)存儲(chǔ)位置 f(key)。查找時(shí)根據(jù)這個(gè)對(duì)應(yīng)關(guān)系匠互給定的 key 的映射 f(key)
這種關(guān)系 f 稱為散列函數(shù)(又稱哈希函數(shù))。散列技術(shù)將記錄存儲(chǔ)在一塊連續(xù)的存儲(chǔ)空間中,這塊連續(xù)存儲(chǔ)空間稱為散列表或哈希表。那么關(guān)鍵字對(duì)應(yīng)的記錄存儲(chǔ)位置稱為散列地址。
散列函數(shù)的構(gòu)造方法特點(diǎn)就是:計(jì)算簡(jiǎn)單、散列地址分布均勻
大家一定聽說過 hash 碰撞。就是2個(gè)不同的 key 對(duì)應(yīng)著不同的 f 關(guān)系。但這是幾乎不可能的,即便像業(yè)界著名的MD5、SHA、CRC等哈希算法,也無法完全避免這種散列沖突。而且,因?yàn)閿?shù)組的存儲(chǔ)空間有限,也會(huì)加大散列沖突的概率。
我們只能通過其它途徑來尋找方法。我們常用的散列沖突解決方法有兩類,開放尋址法(open addressing)和鏈表法(chaining)。
所謂的開放尋址法就是一但發(fā)生了沖突,就去尋找下一個(gè)空的散地址,只要散列表足夠大,空的散列表地址總能找到,并將記錄存入。
鏈地址法又稱鏈表法,其實(shí)當(dāng)發(fā)生沖突時(shí)存入鏈表,如下圖很容易就可以看明白。此時(shí),已經(jīng)不存在什么沖突地址的問題,無論有多少?zèng)_突,都只是在當(dāng)前位置給單鏈表增加結(jié)點(diǎn)的問題。
這種不常見,就是把沖突的單獨(dú)找個(gè)地方。
顧名思義,紅黑樹中的節(jié)點(diǎn),一類被標(biāo)記為黑色,一類被標(biāo)記為紅色。除此之外,一棵紅黑
平衡二叉樹 是一種二叉排序樹,其中每一個(gè)節(jié)點(diǎn)的左子樹和右子樹的高度不能大于 1
紅黑樹是一種平衡二叉查找樹。它是為了解決普通二叉查找樹在數(shù)據(jù)更新的過程中,復(fù)雜度退化的問題而產(chǎn)生的。紅黑樹的高度近似 log2n,所以它是近似平衡,插入、刪除、查找操作的時(shí)間復(fù)雜度都是 O(logn)。
平衡二叉查找樹其實(shí)有很多,比如,Splay Tree(伸展樹)、Treap(樹堆)等,但是我們提到平衡二叉查找樹,聽到的基本都是紅黑樹。
紅黑樹在眾多里面,表現(xiàn)的最為平衡。
“近似平衡”就等價(jià)為性能不會(huì)退化得太嚴(yán)重。
一棵紅黑樹還需要滿足這樣幾個(gè)要求:
看到這里你會(huì)很頭大,什么黑的紅的,完全不懂。賦上連接,有時(shí)間在看
散列表 :插入刪除查找都是O(1), 是最常用的,但其缺點(diǎn)是不能順序遍歷(存入的數(shù)據(jù)是無順序的)以及擴(kuò)容縮容的性能損耗。適用于那些不需要順序遍歷,數(shù)據(jù)更新不那么頻繁的。
散列表總和鏈表、跳表一起出現(xiàn)組合使用。
跳表 :插入刪除查找都是O(logn), 并且能順序遍歷。缺點(diǎn)是空間復(fù)雜度O(n)。適用于不那么在意內(nèi)存空間的,其順序遍歷和區(qū)間查找非常方便。
跳表還可以和散列表組合讓刪除、查找一個(gè)成員對(duì)象操作變?yōu)镺(1),也就是說利用了散列表查找速度,跳表的順序結(jié)構(gòu)
紅黑樹 :插入刪除查找都是O(logn), 中序遍歷即是順序遍歷,穩(wěn)定。缺點(diǎn)是難以實(shí)現(xiàn),去查找不方便。其實(shí)跳表更佳,但紅黑樹已經(jīng)用于很多地方了。
文章名稱:php數(shù)據(jù)分布圖 php分布式框架
文章路徑:http://www.ef60e0e.cn/article/dodcosh.html