建站
咨詢
售后
建站咨詢
新聞中心
這篇文章主要介紹Linux中如何安裝Kafka分布式集群，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！
成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比沙灣網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式沙灣網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋沙灣地區(qū)。費(fèi)用合理售后完善，十多年實(shí)體公司更值得信賴。
Kafka（http://kafka.apache.org/） 是由 LinkedIn 使用 Scala 編寫的一個(gè)分布式消息系統(tǒng)，用作 LinkedIn 的活動(dòng)流（Activity Stream）和運(yùn)營數(shù)據(jù)處理管道（Pipeline）的基礎(chǔ)，具有高水平擴(kuò)展和高吞吐量。Spack、Elasticsearch 都支持與 Kafka 集成。下面看一下幾種分布式開源消息隊(duì)列系統(tǒng)的對比：
Kafka 集群架構(gòu)：
一般不建議直接使用 Kafka 自帶的 Zookeeper 建立 zk 集群，這里我們使用獨(dú)立的 zk 集群，zk 集群搭建參考文章 Linux下ZooKeeper分布式集群安裝。
這里 Linux 選擇 CentOS 7.2。
# cd /usr/local # mkdir kafka # cd kafka # wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz # tar -zxvf kafka_2.11-1.0.0.tgz # mkdir kafka-logs # cd kafka_2.11-1.0.0/config # vim server.properties
編輯配置文件 (配置項(xiàng)可以參考 http://kafka.apache.org/documentation.html#brokerconfigs) 為：
# 唯一標(biāo)識,0開始 broker.id=0 # 服務(wù)器端口和ip port=9092 host.name=192.168.2.20 # 日志數(shù)據(jù)保存的目錄 log.dirs=/usr/local/kafka/kafka-logs log.retention.hours=168 # 每條消息能夠容納的最大大小,默認(rèn)1000012 message.max.bytes=5242880 # 默認(rèn)的副本因子,即保存消息的副本數(shù),默認(rèn)1 default.replication.factor=2 # 取消息的最大直接數(shù),默認(rèn)1048576 replica.fetch.max.bytes=5242880 # 配置zk地址 zookeeper.connect=192.168.20.11:2181,192.168.20.12:2181,192.168.20.13:2181
啟動(dòng) Kafka 之前需啟動(dòng) Zookeeper，然后啟動(dòng) Kafka，各個(gè)節(jié)點(diǎn)需單獨(dú)啟動(dòng)：
# cd /usr/local/kafka/kafka_2.11-1.0.0/bin # ./kafka-server-start.sh -daemon ../config/server.properties //后臺(tái)啟動(dòng)服務(wù) # jps //查看服務(wù)是否啟動(dòng)成功 # ./kafka-server-stop.sh //關(guān)閉服務(wù)
最后我們在三臺(tái)不同的服務(wù)器上各部署一個(gè) Kafka 進(jìn)程，以構(gòu)成一個(gè) Kafka 集群。
以上是“Linux中如何安裝Kafka分布式集群”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！
網(wǎng)站欄目：Linux中如何安裝Kafka分布式集群
網(wǎng)頁網(wǎng)址：http://www.ef60e0e.cn/article/jijjgs.html
