建站
咨詢
售后
建站咨詢
新聞中心
本篇內(nèi)容介紹了“ClickHouse的優(yōu)點有哪些”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！
創(chuàng)新互聯(lián)2013年開創(chuàng)至今，是專業(yè)互聯(lián)網(wǎng)技術服務公司，擁有項目成都網(wǎng)站設計、成都網(wǎng)站建設網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元金昌做網(wǎng)站,已為上家服務,為金昌各地企業(yè)和個人服務,聯(lián)系電話:18980820575
一、ClickHouse 是什么？
ClickHouse：是一個用于聯(lián)機分析(OLAP)的列式數(shù)據(jù)庫管理系統(tǒng)(DBMS)。
我們首先理清一些基礎概念
OLTP：是傳統(tǒng)的關系型數(shù)據(jù)庫，主要操作增刪改查，強調(diào)事務一致性，比如銀行系統(tǒng)、電商系統(tǒng)
OLAP：是倉庫型數(shù)據(jù)庫，主要是讀取數(shù)據(jù)，做復雜數(shù)據(jù)分析，側(cè)重技術決策支持，提供直觀簡單的結(jié)果
接著我們用圖示，來理解一下列式數(shù)據(jù)庫和行式數(shù)據(jù)庫區(qū)別
在傳統(tǒng)的行式數(shù)據(jù)庫系統(tǒng)中（MySQL、Postgres和MS SQL Server），數(shù)據(jù)按如下順序存儲：
在列式數(shù)據(jù)庫系統(tǒng)中（ClickHouse），數(shù)據(jù)按如下的順序存儲：
兩者在存儲方式上對比：
以上是ClickHouse基本介紹，更多可以查閱官方手冊。
二、業(yè)務問題
業(yè)務端現(xiàn)有存儲在Mysql中，5000萬數(shù)據(jù)量的大表及兩個輔表，單次聯(lián)表查詢開銷在3min+，執(zhí)行效率極低。經(jīng)過索引優(yōu)化、水平分表、邏輯優(yōu)化，成效較低，因此決定借助ClickHouse來解決此問題
最終通過優(yōu)化，查詢時間降低至1s內(nèi)，查詢效率提升200倍！
希望通過本文，可以幫助大家快速掌握這一利器，并能在實踐中少走彎路。
三、ClickHouse實踐
1.Mac下的Clickhouse安裝
我是通過docker安裝，查看教程。也可以下載CK編譯安裝，相對麻煩一些。
2.數(shù)據(jù)遷移：從Mysql到ClickHouse
ClickHouse支持Mysql大多數(shù)語法，遷移成本低，目前有五種遷移方案：
create table engin mysql，映射方案數(shù)據(jù)還是在Mysql
insert into select from，先建表，在導入
create table as select from，建表同時導入
csv離線導入
streamsets
選擇第三種方案做數(shù)據(jù)遷移：
CREATE TABLE [IF NOT EXISTS] [db.]table_name ENGINE = Mergetree AS SELECT * FROM mysql('host:port', 'db', 'database', 'user', 'password')3.性能測試對比
| 類型 | 數(shù)據(jù)量 | 表大小 | 查詢速度 |
|---|---|---|---|
| Mysql | 5000萬 | 10G | 205s |
| ClickHouse | 5000萬 | 600MB | 1s內(nèi) |
4.數(shù)據(jù)同步方案
1)臨時表
新建temp中間表，將Mysql數(shù)據(jù)全量同步到ClickHouse內(nèi)temp表，再替換原ClickHouse中的表，適用數(shù)據(jù)量適度，增量和變量頻繁的場景
2)synch
開源的同步軟件推薦：synch 原理是通過Mysql的binlog日志，獲取sql語句，再通過消息隊列消費task
5.ClickHouse為什么快？
只需要讀取要計算的列數(shù)據(jù)，而非行式的整行數(shù)據(jù)讀取，降低IO cost
同列同類型，有十倍壓縮提升，進一步降低IO
clickhouse根據(jù)不同存儲場景，做個性化搜索算法
四、遇到的坑
1.ClickHouse與mysql數(shù)據(jù)類型差異性
用Mysql的語句查詢，發(fā)現(xiàn)報錯：
解決方案：LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id)，中轉(zhuǎn)一下，統(tǒng)一無符號類型關聯(lián)
2.刪除或更新是異步執(zhí)行，只保證最終一致性
查詢CK手冊發(fā)現(xiàn)，即便對數(shù)據(jù)一致性支持最好的Mergetree，也只是保證最終一致性：
如果對數(shù)據(jù)一致性要求較高，推薦大家做全量同步來解決
“ClickHouse的優(yōu)點有哪些”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！
本文名稱：ClickHouse的優(yōu)點有哪些
網(wǎng)站地址：http://www.ef60e0e.cn/article/jgeids.html
