新型IT維運管理,基礎建設與數據兩手都要硬

王林
發布: 2024-02-05 18:25:20
轉載
775 人瀏覽過

AI大模型時代,數據賦予IT人「新使命」

當下IT人在企業中扮演著營運支撐的角色。說到維運管理,相信每人都是一把辛酸淚,每天承擔著繁瑣、高負荷且又高風險的維運工作,但在業務規劃和職業發展時又成為了「透明人」。業界有句調侃的話:「只花錢的人,不配擁有發言權

隨著AI大模型應用的普及,資料成為了企業的關鍵資產和核心競爭力。近年來,企業的數據規模快速成長,從PB級到百PB級倍數增加。資料類型也從以資料庫為主的結構化數據,逐漸演變為以文件、日誌、影片等為主的半結構化、非結構化資料。為了滿足業務部門的需求,資料儲存需要像圖書館一樣進行分類和隨用隨取,同時也需要更安全可靠的儲存方式。

IT人,已不再只是負責建置與管理IT資源、保障設備穩定的被動角色。

IT人的新使命,演變為提供優質數據服務,讓數據好用,幫助業務部門用好數據!

新型IT維運管理,基礎建設與數據兩手都要硬

「基礎設施」和「資料」很近,但兩者的「管理」卻很遠

針對基礎設施的管理,業界普遍的做法是透過AIOps技術,將繁瑣的人工日常運作改變為利用工具自動化執行,透過專家系統、知識圖譜等智慧化能力,主動發現系統隱憂、自動修復故障等。生成式AI技術普及後,近期出現了智慧客服、互動式運維等新型應用。

針對資料的管理,業界有以Informatica、IBM等為代表的專業DataOps軟體供應商,支援資料整合、資料標記、資料分析、資料最佳化、資料市場等能力,為資料分析師、BI分析師、資料科學家等業務團隊提供服務。

筆者研究發現,目前大部分企業中的基礎設施運作管理和資料管理是割裂的,由不同的團隊負責,工具平台間也沒有有效協同。業務上資料保存在儲存等IT基礎架構中,應該融為一體,但實際兩者的管理卻相隔甚遠,甚至兩個團隊之間語言都不對齊,這樣通常會帶來幾個弊端:

1)資料不同來源:因為歸屬不同團隊和採用不同工具,業務團隊通常會採用將原始數據透過ETL等方式複製一份至資料管理平台做分析處理。這樣不僅造成儲存空間浪費,還有資料不一致、資料更新不及時等問題,影響資料分析的準確性。

2)跨地域協同難:如今企業資料中心在多個城市佈局,資料在跨地理傳輸時,目前主要透過DataOps軟體在主機層進行複製,這種資料傳輸方式不僅效率低,傳輸過程中也存在安全性、合規性、隱私等嚴重隱患。

3)系統最佳化不充分:目前通常基於基礎設施資源的利用情況進行最佳化,因為無法感知數據佈局而實現全局最優,數據的保存成本居高不下,有限增長的預算與成倍的數據規模增長之間的矛盾成為制約企業數據資產積累的關鍵矛盾。

IT人,打通「基礎設施」與「資料」任督二脈,開啟數智化飛輪

筆者認為,IT團隊應該把「基礎設施」與「資料」當作一個有機整體來管理與最佳化,實現資料同源、全域最優、安全流通,扮演資料資產管理者的重要角色。

首先,實作全域檔案的統一視圖。 利用全域檔案系統、統一元資料管理等技術,把不同地域、不同資料中心、不同型別設備中的資料形成統一的全域視圖。在此基礎上,能夠依照熱溫冷、重複、過期等維度進行全域最佳化策略的製定,下發至儲存設備執行,此方式可以實現全域最優。基於儲存層複製的壓縮、加密等技術,通常可以實現數十倍的資料移動速度,效率和安全性都可以保證。

其次,將海量非結構化資料自動產生資料目錄。 透過元資料、增強型元資料等自動產生資料目錄服務,把資料分門別類別有效率地管理起來。業務團隊基於目錄可以自動擷取符合條件的資料進行分析處理,而不用人工像大海撈針一樣去找資料。作者研究發現透過AI識別演算法實現資料標註的技術已經較為成熟,因此可以利用開放框架將不同場景化的AI演算法進行集成,自動分析文件內容形成多元化標籤,作為增強型元資料提升資料管理的能力。

同時,資料在跨裝置流動時,需要特別考慮資料主權、合規隱私等問題。 儲存裝置中的資料應該自動分類、隱私分級、分權分域等,管理軟體對資料的存取、使用、流動等策略進行統一管理,避免敏感資訊和隱私資料洩露,未來資料要素交易場景這些將成為基本要求。例如,資料在流出儲存設備時,首先需要對合規性、個人隱私等進行判定是否符合策略要求,否則企業將面臨嚴重的法律法規風險。

參考架構如下:

新型IT維運管理,基礎建設與數據兩手都要硬

根據筆者研究並請教同儕專家後,發現業界諸如華為儲存、NetApp這樣的領先儲存廠商已經發布儲存和資料一體化管理的產品解決方案,相信未來會有更多廠商支援。

裝置和資料兩手都要抓、兩手都要硬。 IT人在AI時代可以扮演更重要的角色。

以上是新型IT維運管理,基礎建設與數據兩手都要硬的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!