新型IT維運管理,基礎建設與數據兩手都要硬
AI大模型時代,數據賦予IT人「新使命」
當下IT人在企業中扮演著營運支撐的角色。說到維運管理,相信每人都是一把辛酸淚,每天承擔著繁瑣、高負荷且又高風險的維運工作,但在業務規劃和職業發展時又成為了「透明人」。業界有句調侃的話:「只花錢的人,不配擁有發言權」。
隨著AI大模型應用的普及,資料成為了企業的關鍵資產和核心競爭力。近年來,企業的數據規模快速成長,從PB級到百PB級倍數增加。資料類型也從以資料庫為主的結構化數據,逐漸演變為以文件、日誌、影片等為主的半結構化、非結構化資料。為了滿足業務部門的需求,資料儲存需要像圖書館一樣進行分類和隨用隨取,同時也需要更安全可靠的儲存方式。
IT人,已不再只是負責建置與管理IT資源、保障設備穩定的被動角色。
IT人的新使命,演變為提供優質數據服務,讓數據好用,幫助業務部門用好數據!
「基礎設施」和「資料」很近,但兩者的「管理」卻很遠
針對基礎設施的管理,業界普遍的做法是透過AIOps技術,將繁瑣的人工日常運作改變為利用工具自動化執行,透過專家系統、知識圖譜等智慧化能力,主動發現系統隱憂、自動修復故障等。生成式AI技術普及後,近期出現了智慧客服、互動式運維等新型應用。
針對資料的管理,業界有以Informatica、IBM等為代表的專業DataOps軟體供應商,支援資料整合、資料標記、資料分析、資料最佳化、資料市場等能力,為資料分析師、BI分析師、資料科學家等業務團隊提供服務。
筆者研究發現,目前大部分企業中的基礎設施運作管理和資料管理是割裂的,由不同的團隊負責,工具平台間也沒有有效協同。業務上資料保存在儲存等IT基礎架構中,應該融為一體,但實際兩者的管理卻相隔甚遠,甚至兩個團隊之間語言都不對齊,這樣通常會帶來幾個弊端:
1)資料不同來源:因為歸屬不同團隊和採用不同工具,業務團隊通常會採用將原始數據透過ETL等方式複製一份至資料管理平台做分析處理。這樣不僅造成儲存空間浪費,還有資料不一致、資料更新不及時等問題,影響資料分析的準確性。
2)跨地域協同難:如今企業資料中心在多個城市佈局,資料在跨地理傳輸時,目前主要透過DataOps軟體在主機層進行複製,這種資料傳輸方式不僅效率低,傳輸過程中也存在安全性、合規性、隱私等嚴重隱患。
3)系統最佳化不充分:目前通常基於基礎設施資源的利用情況進行最佳化,因為無法感知數據佈局而實現全局最優,數據的保存成本居高不下,有限增長的預算與成倍的數據規模增長之間的矛盾成為制約企業數據資產積累的關鍵矛盾。
IT人,打通「基礎設施」與「資料」任督二脈,開啟數智化飛輪
筆者認為,IT團隊應該把「基礎設施」與「資料」當作一個有機整體來管理與最佳化,實現資料同源、全域最優、安全流通,扮演資料資產管理者的重要角色。
首先,實作全域檔案的統一視圖。 利用全域檔案系統、統一元資料管理等技術,把不同地域、不同資料中心、不同型別設備中的資料形成統一的全域視圖。在此基礎上,能夠依照熱溫冷、重複、過期等維度進行全域最佳化策略的製定,下發至儲存設備執行,此方式可以實現全域最優。基於儲存層複製的壓縮、加密等技術,通常可以實現數十倍的資料移動速度,效率和安全性都可以保證。
其次,將海量非結構化資料自動產生資料目錄。 透過元資料、增強型元資料等自動產生資料目錄服務,把資料分門別類別有效率地管理起來。業務團隊基於目錄可以自動擷取符合條件的資料進行分析處理,而不用人工像大海撈針一樣去找資料。作者研究發現透過AI識別演算法實現資料標註的技術已經較為成熟,因此可以利用開放框架將不同場景化的AI演算法進行集成,自動分析文件內容形成多元化標籤,作為增強型元資料提升資料管理的能力。
同時,資料在跨裝置流動時,需要特別考慮資料主權、合規隱私等問題。 儲存裝置中的資料應該自動分類、隱私分級、分權分域等,管理軟體對資料的存取、使用、流動等策略進行統一管理,避免敏感資訊和隱私資料洩露,未來資料要素交易場景這些將成為基本要求。例如,資料在流出儲存設備時,首先需要對合規性、個人隱私等進行判定是否符合策略要求,否則企業將面臨嚴重的法律法規風險。
參考架構如下:
根據筆者研究並請教同儕專家後,發現業界諸如華為儲存、NetApp這樣的領先儲存廠商已經發布儲存和資料一體化管理的產品解決方案,相信未來會有更多廠商支援。
裝置和資料兩手都要抓、兩手都要硬。 IT人在AI時代可以扮演更重要的角色。
以上是新型IT維運管理,基礎建設與數據兩手都要硬的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

使用C 中的chrono庫可以讓你更加精確地控制時間和時間間隔,讓我們來探討一下這個庫的魅力所在吧。 C 的chrono庫是標準庫的一部分,它提供了一種現代化的方式來處理時間和時間間隔。對於那些曾經飽受time.h和ctime折磨的程序員來說,chrono無疑是一個福音。它不僅提高了代碼的可讀性和可維護性,還提供了更高的精度和靈活性。讓我們從基礎開始,chrono庫主要包括以下幾個關鍵組件:std::chrono::system_clock:表示系統時鐘,用於獲取當前時間。 std::chron

DMA在C 中是指DirectMemoryAccess,直接內存訪問技術,允許硬件設備直接與內存進行數據傳輸,不需要CPU干預。 1)DMA操作高度依賴於硬件設備和驅動程序,實現方式因係統而異。 2)直接訪問內存可能帶來安全風險,需確保代碼的正確性和安全性。 3)DMA可提高性能,但使用不當可能導致系統性能下降。通過實踐和學習,可以掌握DMA的使用技巧,在高速數據傳輸和實時信號處理等場景中發揮其最大效能。

在C 中處理高DPI顯示可以通過以下步驟實現:1)理解DPI和縮放,使用操作系統API獲取DPI信息並調整圖形輸出;2)處理跨平台兼容性,使用如SDL或Qt的跨平台圖形庫;3)進行性能優化,通過緩存、硬件加速和動態調整細節級別來提升性能;4)解決常見問題,如模糊文本和界面元素過小,通過正確應用DPI縮放來解決。

C 在實時操作系統(RTOS)編程中表現出色,提供了高效的執行效率和精確的時間管理。 1)C 通過直接操作硬件資源和高效的內存管理滿足RTOS的需求。 2)利用面向對象特性,C 可以設計靈活的任務調度系統。 3)C 支持高效的中斷處理,但需避免動態內存分配和異常處理以保證實時性。 4)模板編程和內聯函數有助於性能優化。 5)實際應用中,C 可用於實現高效的日誌系統。

在C 中測量線程性能可以使用標準庫中的計時工具、性能分析工具和自定義計時器。 1.使用庫測量執行時間。 2.使用gprof進行性能分析,步驟包括編譯時添加-pg選項、運行程序生成gmon.out文件、生成性能報告。 3.使用Valgrind的Callgrind模塊進行更詳細的分析,步驟包括運行程序生成callgrind.out文件、使用kcachegrind查看結果。 4.自定義計時器可靈活測量特定代碼段的執行時間。這些方法幫助全面了解線程性能,並優化代碼。

交易所內置量化工具包括:1. Binance(幣安):提供Binance Futures量化模塊,低手續費,支持AI輔助交易。 2. OKX(歐易):支持多賬戶管理和智能訂單路由,提供機構級風控。獨立量化策略平台有:3. 3Commas:拖拽式策略生成器,適用於多平台對沖套利。 4. Quadency:專業級算法策略庫,支持自定義風險閾值。 5. Pionex:內置16 預設策略,低交易手續費。垂直領域工具包括:6. Cryptohopper:雲端量化平台,支持150 技術指標。 7. Bitsgap:

在MySQL中,添加字段使用ALTERTABLEtable_nameADDCOLUMNnew_columnVARCHAR(255)AFTERexisting_column,刪除字段使用ALTERTABLEtable_nameDROPCOLUMNcolumn_to_drop。添加字段時,需指定位置以優化查詢性能和數據結構;刪除字段前需確認操作不可逆;使用在線DDL、備份數據、測試環境和低負載時間段修改表結構是性能優化和最佳實踐。

C 中使用字符串流的主要步驟和注意事項如下:1.創建輸出字符串流並轉換數據,如將整數轉換為字符串。 2.應用於復雜數據結構的序列化,如將vector轉換為字符串。 3.注意性能問題,避免在處理大量數據時頻繁使用字符串流,可考慮使用std::string的append方法。 4.注意內存管理,避免頻繁創建和銷毀字符串流對象,可以重用或使用std::stringstream。
