產(chǎn)業(yè)數(shù)字化升級，數(shù)據(jù)由幕后走到臺前，“數(shù)據(jù)湖”與“數(shù)據(jù)倉”逐漸形成目前“湖倉一體”的數(shù)據(jù)體系進化趨勢。這股風(fēng)潮不僅僅席卷數(shù)據(jù)圈，更影響了一系列下游產(chǎn)業(yè)，對數(shù)據(jù)的場景落地構(gòu)成最為直接的影響，尤其是IT運維。

　　“湖倉一體”是目前大數(shù)據(jù)繞不開的一個坎兒

　　當(dāng)數(shù)據(jù)真正成為一種生產(chǎn)資料，我們才切實進入大數(shù)據(jù)時代。筆者以為，當(dāng)數(shù)據(jù)被主動沉淀下來并進行復(fù)用的行為出現(xiàn)，才意味著一個企業(yè)確實將數(shù)據(jù)變?yōu)橐环N生產(chǎn)資料。

　　這種沉淀，必然涉及數(shù)據(jù)的存儲。隨著數(shù)據(jù)存儲技術(shù)和應(yīng)用場景快速豐富的同時，關(guān)于數(shù)據(jù)湖、數(shù)據(jù)倉的爭論也日趨白熱化。數(shù)據(jù)湖和數(shù)據(jù)倉用于描述數(shù)據(jù)存儲結(jié)構(gòu)，但它們的優(yōu)勢卻各有不同。

　　簡單理解，數(shù)據(jù)倉就像一個大型圖書館，數(shù)據(jù)根據(jù)類別等統(tǒng)一的規(guī)范分類放好，雖然存取手續(xù)較為復(fù)雜，但確保能方便找到，且找到即可直接使用。數(shù)據(jù)倉一般面向主題設(shè)計，提升了數(shù)據(jù)的結(jié)構(gòu)程度，可存儲大量的結(jié)構(gòu)化數(shù)據(jù)。在數(shù)據(jù)量和數(shù)據(jù)類型尚且不豐富的時代，數(shù)據(jù)倉并沒有遇到太大的瓶頸。2011年之前，數(shù)據(jù)倉還占據(jù)著主流市場，當(dāng)數(shù)據(jù)上云等趨勢出現(xiàn)后，數(shù)據(jù)倉得以依靠云端降低成本，滿足日益擴大的數(shù)據(jù)量。

　　數(shù)據(jù)湖則面向更廣泛的數(shù)據(jù)源，并大大提升了信息密度，可以容納結(jié)構(gòu)化、半結(jié)構(gòu)化甚至是非結(jié)構(gòu)化的數(shù)據(jù);數(shù)據(jù)可以是各種格式，比如文本、音頻、視頻。

　　如一汪湖泊就是一個生態(tài)。數(shù)據(jù)湖的優(yōu)勢在于其對數(shù)據(jù)的范式?jīng)]有太嚴(yán)苛的要求，可以保留大量的原始數(shù)據(jù)，對于真正“跑”在數(shù)據(jù)上的企業(yè)來說做到了“高保真”。同時，數(shù)據(jù)湖存儲、處理、分析數(shù)據(jù)的基礎(chǔ)設(shè)施是可以不斷拓展的，這也極大降低了存儲成本。數(shù)據(jù)湖對數(shù)據(jù)不加嚴(yán)格規(guī)范，也造成了數(shù)據(jù)質(zhì)量、可用性等問題較為突出，這一點又將人們的目光轉(zhuǎn)向了數(shù)據(jù)倉。

　　在21世紀(jì)的第二個十年，數(shù)據(jù)湖和數(shù)據(jù)倉的爭議一直未停止。短期看來，數(shù)據(jù)湖的可擴展性，適合目前業(yè)務(wù)端突飛猛進的數(shù)據(jù)環(huán)境;長期看來，數(shù)據(jù)倉的規(guī)范性利于后端數(shù)據(jù)運維，實現(xiàn)企業(yè)價值的沉淀。數(shù)據(jù)湖和數(shù)據(jù)倉的爭議，可大致視為數(shù)據(jù)擴展性和可用性之爭。

　　近年來，產(chǎn)業(yè)數(shù)字化進程帶來了數(shù)據(jù)場景大爆發(fā)，使得湖倉之爭最終走向統(tǒng)一：既然數(shù)據(jù)湖和數(shù)據(jù)倉都有各自的優(yōu)點，那么取長補短就是了?？梢栽O(shè)計一種范式，擁有數(shù)據(jù)湖的低成本存儲和可擴展優(yōu)點，又有數(shù)據(jù)倉的規(guī)范性，就像在湖邊建水產(chǎn)倉庫，需要的時候從湖里提取、就地分類加工。湖倉一體，正是客觀環(huán)境催生的產(chǎn)物。

　　IT分布式運維是大數(shù)據(jù)“湖倉一體”最直接的著陸點

　　湖倉一體的數(shù)據(jù)存儲結(jié)構(gòu)思路，引發(fā)了數(shù)據(jù)存儲革命的浪潮，IT運維首當(dāng)其沖。

　　IT運維的數(shù)字化升級，標(biāo)志著對數(shù)據(jù)劃時代的運用，讓數(shù)據(jù)“從幕后走到臺前”。在運維過程中，數(shù)據(jù)源變得多樣化、巨量化。企業(yè)需要邁入大數(shù)據(jù)門檻，優(yōu)先要考慮的，就是數(shù)據(jù)對IT運維的劃時代影響。對于企業(yè)來說，數(shù)據(jù)的可擴展性、可用性要求雙雙提升，數(shù)據(jù)將成為直接的生產(chǎn)資料，而非評估生產(chǎn)的輔助標(biāo)準(zhǔn)。

　　數(shù)據(jù)源的豐富，帶來數(shù)據(jù)量和數(shù)據(jù)場景的雙重爆發(fā)。數(shù)據(jù)產(chǎn)生于基礎(chǔ)設(shè)施，伴生而來的IT運維面臨兩個顯著問題：

　　1、數(shù)據(jù)直接反映系統(tǒng)的健康狀況，成為決策者的直接參考，其類型和范式都面臨巨大增長;

　　2、數(shù)據(jù)采集由離散變?yōu)檫B續(xù)，由被動采集變成了主動采集、留存、分析，數(shù)據(jù)量產(chǎn)生了指數(shù)級飛躍。

　　對于企業(yè)來說，下一個時代的IT運維，是在深入與數(shù)據(jù)打交道。數(shù)據(jù)成為了名副其實的生產(chǎn)資料，運維標(biāo)準(zhǔn)、運維思路足以決定企業(yè)在數(shù)字化的路上是原地踏步，還是大踏步前進。

　　相較于之前流于數(shù)據(jù)湖、數(shù)據(jù)倉的爭議，IT運維遇到的數(shù)據(jù)問題則現(xiàn)實得多：IOT時代企業(yè)的IT環(huán)境，要求既要擁有數(shù)據(jù)湖的兼容和可擴展性，又要具備數(shù)據(jù)倉的可用性。湖倉一體的架構(gòu)思路，自然成為了企業(yè)構(gòu)建IT運維大數(shù)據(jù)棧的必選項。

　　目前市面提供的IT運維基礎(chǔ)設(shè)施方案，普遍落后于生產(chǎn)力需求，難以促成真正的數(shù)據(jù)化布局。市面上對IT運維解決方案的升級，僅僅限于部署單機、局域網(wǎng)式、小規(guī)模的監(jiān)控運維產(chǎn)品，盡管多有推陳出新，卻同樣是“數(shù)據(jù)倉”思維的延續(xù)，畢竟過去面向主營業(yè)務(wù)這一主題設(shè)計數(shù)據(jù)倉，數(shù)據(jù)類型和數(shù)據(jù)數(shù)量都在可控范圍。

　　如今，隨著數(shù)據(jù)來源復(fù)雜化，企業(yè)若想沿襲數(shù)據(jù)倉的形式，數(shù)據(jù)倉就只能設(shè)計得更加臃腫，數(shù)據(jù)孤島更加嚴(yán)重，企業(yè)將不得不以擴大運維投入的手法來收獲增長。

　　另一方面，產(chǎn)業(yè)升級的趨勢、產(chǎn)能擴大的客觀需求，讓企業(yè)的IT基礎(chǔ)設(shè)施高度離散;在生產(chǎn)效率、多端業(yè)務(wù)協(xié)同、一體化管理上卻產(chǎn)生了更高的要求。這些要求，僅能通過IT基礎(chǔ)設(shè)施分布式運維解決。在數(shù)據(jù)結(jié)構(gòu)層面，“湖倉一體”思路自然成為IT分布式運維的必答題。

　　監(jiān)控易IT基礎(chǔ)設(shè)施分布式運維，為“湖倉一體”寫下注腳

　　企業(yè)應(yīng)用傳統(tǒng)的單機式、局域網(wǎng)式的運維產(chǎn)品，投入巨大、管理混亂尚在其次;開拓新業(yè)務(wù)即搭建新的數(shù)據(jù)體系的做法，只會讓企業(yè)陷入數(shù)據(jù)倉的無窮增補中，在數(shù)字化的大門面前舉步維艱。

　　美信時代的監(jiān)控易，準(zhǔn)確切入了大數(shù)據(jù)時代企業(yè)構(gòu)建“湖倉一體”IT運維體系的客觀需求，對IT基礎(chǔ)設(shè)施實現(xiàn)分布式運維。

　　首先，監(jiān)控易內(nèi)置了自研的BigRiver四合一超融合數(shù)據(jù)庫。

　　BigRiver四合一超融合數(shù)據(jù)庫最初專為網(wǎng)管數(shù)據(jù)研發(fā)而成，采用超融合策略，為用戶提供集成“消息隊列”、“Key-Value樹狀數(shù)據(jù)庫”、“關(guān)系型表狀數(shù)據(jù)庫”、“內(nèi)存數(shù)據(jù)庫”和“高性能時序數(shù)據(jù)庫”為一體的超融合數(shù)據(jù)庫存儲。這讓BigRiver數(shù)據(jù)庫具備了數(shù)據(jù)湖的一些基本特征，囊括主流數(shù)據(jù)類型的特性讓數(shù)據(jù)庫具備相當(dāng)?shù)募嫒菪?，消除?shù)據(jù)孤島。輔以高壓縮算法，顯著提升數(shù)據(jù)庫的泛用性和讀寫效率，夯實IT分布式運維基礎(chǔ)。BigRiver數(shù)據(jù)庫還具備出色的事務(wù)管理機制，保證數(shù)據(jù)的一致性和完整性，對數(shù)據(jù)質(zhì)量的重視，也具備數(shù)據(jù)倉的嚴(yán)謹(jǐn)。

　　除了對基礎(chǔ)設(shè)施友好，BigRiver數(shù)據(jù)庫還提供了豐富多元的操作接口，包括“標(biāo)準(zhǔn)SQL接口”、“自有BSAPI接口”和“Grafana展示接口”，便于用戶的使用、查詢和展示，賦予數(shù)據(jù)可視化屬性，更便于運維人員介入。

　　其次，監(jiān)控易的中央控制臺可以輕易實現(xiàn)一體化資源配置。

　　消除數(shù)據(jù)孤島、洞察一切分布式IT基礎(chǔ)設(shè)施，對于監(jiān)控易僅僅是“基本操作”。監(jiān)控易采用“云邊端一體化”架構(gòu)，可通過架構(gòu)的核心——中央控制臺進行協(xié)調(diào)、管理、分配眾多的任務(wù)管理器和實時數(shù)據(jù)庫，調(diào)動云管理中的各項功能模塊，實現(xiàn)一體化資源調(diào)配。

　　做到這些尚且不能算完全實現(xiàn)了IT分布式運維。

　　第三，監(jiān)控易還擁有具體到監(jiān)控終端(TS)的長臂管轄能力。監(jiān)控易系統(tǒng)采用底層分布式架構(gòu)，各地數(shù)據(jù)中心或機房皆可實現(xiàn)一體化運維。終端自帶高性能數(shù)據(jù)庫，設(shè)備指標(biāo)的采集在監(jiān)控終端完成，僅將監(jiān)控數(shù)據(jù)和告警信息上傳中央控制臺，節(jié)省了帶寬，在集中管理平臺上呈現(xiàn)關(guān)鍵信息。如監(jiān)測任務(wù)負載過高，TS監(jiān)測服務(wù)器還會自動調(diào)節(jié)監(jiān)測任務(wù)量，實現(xiàn)監(jiān)控終端分布式管理、一體化運維的“壯舉”。

　　通過三大核心組件，監(jiān)控易在IT基礎(chǔ)設(shè)施領(lǐng)域，實現(xiàn)了分布式運維，打破了傳統(tǒng)依賴單機版進行局域網(wǎng)、小規(guī)模網(wǎng)絡(luò)運維的模式，構(gòu)建了為TOP3000規(guī)模級別的頭部企業(yè)打造分布式一體化運維平臺的實力，也徹底貫徹了數(shù)據(jù)庫的湖倉一體。目前，監(jiān)控易已應(yīng)用于政府、軍工、金融、電力、石油石化、交通、醫(yī)療等多個領(lǐng)域，納管設(shè)備超百萬臺。

　　數(shù)據(jù)領(lǐng)域?qū)?shù)據(jù)井噴時代的探索，挖掘出“湖倉一體”這個成果，將會極大影響未來的數(shù)字世界。“湖倉一體”今后將在各個領(lǐng)域得到印證;在IT運維領(lǐng)域，監(jiān)控易實現(xiàn)IT分布式運維，就是對湖倉一體最有力的注腳。它成功證明了在科學(xué)合理的架構(gòu)下，龐大的、分布式的IT基礎(chǔ)設(shè)施，可以實現(xiàn)數(shù)據(jù)的“生產(chǎn)資料化”，賦能企業(yè)數(shù)字化進程。