聯(lián)系人:杜先生
咨詢熱線:13666137357
24小時(shí)服務(wù)熱線:13398160530
座機(jī):028-64458994
公司官方網(wǎng)址:www.minei.net.cn
QQ郵箱:1123090340@qq.com
公司地址:雙流區(qū)物聯(lián)二路臥波實(shí)業(yè)
關(guān)于監(jiān)控我們有很大的興趣,但是大部分人低于監(jiān)控的技術(shù)是并不清楚地。今天我們就開講講關(guān)于監(jiān)控的3大技術(shù)特點(diǎn)。傳統(tǒng)的監(jiān)控很多還是在停留在設(shè)備、網(wǎng)絡(luò)、系統(tǒng)相關(guān)的監(jiān)控上,重視數(shù)據(jù)的采集,但是在數(shù)據(jù)算法和Role上比較傳統(tǒng)。對(duì)監(jiān)控系統(tǒng)簡(jiǎn)化抽象下,傳統(tǒng)監(jiān)控可以大致分為三個(gè)過(guò)程:數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、響應(yīng)處理。OWL監(jiān)控在傳統(tǒng)監(jiān)控基礎(chǔ)上,增加了Algorithm模塊,支持復(fù)雜的算法規(guī)則報(bào)警,如下圖所示:
1. 監(jiān)控?cái)?shù)據(jù)采集
Data Collection 就是數(shù)據(jù)采集,這里指的數(shù)據(jù)不光是基礎(chǔ)硬件的指標(biāo),也可以是業(yè)務(wù)指標(biāo)。下面介紹兩個(gè)實(shí)例。
第一個(gè)例子是主機(jī)硬盤狀態(tài)的采集:
下面的數(shù)據(jù)采集中第一列是硬盤設(shè)備標(biāo)號(hào),第二列是硬盤的狀態(tài),在監(jiān)控的這個(gè)層面,一切都是metric,不同的層級(jí)可以抽象到不同的metric,結(jié)合 metric timestamp tagk1 tagv1… tagkN tagvN,這樣針對(duì)相同的metric去加tag,用來(lái)標(biāo)示數(shù)據(jù),方便后期的查詢。
2. 監(jiān)控?cái)?shù)據(jù)存儲(chǔ)
監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)也是一個(gè)很有意思的話題,監(jiān)控?cái)?shù)據(jù)在數(shù)據(jù)結(jié)構(gòu)上是很有特色的。仔細(xì)觀察發(fā)現(xiàn)監(jiān)控?cái)?shù)據(jù)基本上都是和時(shí)間維度相關(guān)的,以metric +timestamp的組合形式的數(shù)據(jù)占了所有監(jiān)控?cái)?shù)據(jù)量的大部分,相比而言,多維度的監(jiān)控?cái)?shù)據(jù)比較少;如果出現(xiàn)了多維度的監(jiān)控?cái)?shù)據(jù),也可以通過(guò)其他的方式繞開處理。RDBMS 由于要考慮數(shù)據(jù)的關(guān)聯(lián),所以它在整體數(shù)據(jù)存儲(chǔ)設(shè)計(jì)上充分考慮了數(shù)據(jù)的完整性和關(guān)系型,同時(shí)在 schema設(shè)計(jì)上還要遵守?cái)?shù)據(jù)庫(kù)的幾大范式。傳統(tǒng)的監(jiān)控大多數(shù)還是使用了RDBMS,但是這造成了性能上和擴(kuò)展性上的局限性。針對(duì)監(jiān)控?cái)?shù)據(jù)這樣簡(jiǎn)單的數(shù) 據(jù)結(jié)構(gòu),卻采用了一套復(fù)雜的存儲(chǔ)格式。隨著近些年各種各樣的垂直的。
技術(shù)領(lǐng)域?qū)?shù)據(jù)的存儲(chǔ)不同要求的演變,如Graph database,Time Series Databases等數(shù)據(jù)庫(kù)得到了不斷發(fā)展;監(jiān)控?cái)?shù)據(jù)在存儲(chǔ)上有了更多的選擇,InfluxDB,OpenTSDB,KairosDB都是不錯(cuò)的選擇,最 后我們選擇了OpenTSDB,這主要是因?yàn)門alkingData的大數(shù)據(jù)基因,Hadoop和HBase在我們的業(yè)務(wù)系統(tǒng)中大規(guī)模使用。從現(xiàn)有的數(shù)據(jù) 體量上,OpenTSDB能夠滿足現(xiàn)在的業(yè)務(wù)要求。簡(jiǎn)單的總結(jié)了一下OpenTSDB的優(yōu)點(diǎn):
此外,OpenTSDB支持API查詢,可以輕松地和其他系統(tǒng)進(jìn)行數(shù)據(jù)對(duì)接,也方便其他系統(tǒng)抽取監(jiān)控相關(guān)的數(shù)據(jù)。 并且,查詢方式靈活:查詢數(shù)據(jù)可以使用query接口,它既可以使用get的query string方式,也可以使用post方式以JSON格式指定查詢條件。
Algorithm這塊是傳統(tǒng)監(jiān)控系統(tǒng)所欠缺的,基本上都是單個(gè)指標(biāo)的大于,小于這樣的算法,但是遇到集群或者復(fù)雜的指標(biāo),就需要自己去增加一些算法,比如多個(gè)指標(biāo)的加和,平均值,top10,歷史相似度等。這些算法的引入,可以增加報(bào)警的準(zhǔn)確度,有效的減少報(bào)警數(shù)量,讓報(bào)警變得人性化。 關(guān)于報(bào)警的算法會(huì)在本系列的后續(xù)文章進(jìn)行詳細(xì)介紹。
簡(jiǎn)單的介紹一下OWL的整體架構(gòu),下面目前的架構(gòu)是第四個(gè)大版本。在研發(fā)的過(guò)程中,我們也嘗試了很多的開源技術(shù),如RRDtools、Graphlite,也踩了很多的技術(shù)坑,最后我們整體選擇了OpenTSDB,在這個(gè)技術(shù)棧下面演進(jìn)了兩個(gè)版本:
成都監(jiān)控電視墻報(bào)道:
服務(wù)熱線:13666137357.028-64458994 公司總機(jī):028-64458994
地址:四川省成都市雙流區(qū)物聯(lián)二路臥波實(shí)業(yè) 歡迎來(lái)電咨詢代理、經(jīng)銷事宜!
網(wǎng)站備案/許可證號(hào):蜀ICP備20011216號(hào)-1
成都浩森電子設(shè)備有限公司公司主要產(chǎn)品有網(wǎng)絡(luò)機(jī)柜、服務(wù)器機(jī)柜,布線機(jī)柜,機(jī)箱, 監(jiān)控電視墻、拼接屏電視墻、成都控制臺(tái)、成都操作臺(tái)、成都監(jiān)控立桿、多媒體電教臺(tái)、屏蔽機(jī)柜、拖掛露營(yíng)車等