這篇文章為大家帶來了關於MySQL的相關知識,其中主要介紹了關於MySQL HeatWave的相關內容,MySQL HeatWave 是一個內建高效能記憶體查詢加速器的MySQL 雲端服務;借助該服務,我們無需對目前應用程式進行任何更改,即可將混合工作負載的MySQL 效能提高數個量級;下面一起來看一下,希望對大家有幫助。
MySQL 作為全球最受歡迎的資料庫,已在交易場景叱吒風雲多年。在2020 年底,OCI(Oracle Cloud Infrastructure)推出了一個黑科技插件,它彌補了MySQL 在分析場景的短板,Oracle 官方稱它比Aurora 快1400 倍,比Redshift 快6.5 倍,而且還能以二分之一的成本完成這些工作,它就是MySQL HeatWave。
MySQL HeatWave 是一個內建高效能記憶體查詢加速器的 MySQL 雲端服務。借助該服務,我們無需對目前應用進行任何更改,即可將混合工作負載的 MySQL 效能提高數個量級。
相比傳統的分析場景,MySQL HeatWave 可以讓使用者無需再使用單獨的分析資料庫、單獨的機器學習 (ML) 工具以及提取、轉換和載入(ETL)複製。同時,透過 MySQL HeatWave 機器學習,開發人員和資料分析師可以在 MySQL HeatWave 中建置、訓練、部署和解釋機器學習模型,無需將資料遷移到單獨的機器學習服務中。
目前 MySQL HeatWave 可在 OCI(Oracle Cloud Infrastructure)、AWS(Amazon Web Services)和 Microsoft Azure 上使用。
MySQL HeatWave 可以附加到 MDS(MySQL Database Service)來支援分析類別查詢,它不會暴露給應用程式。 MySQL HeatWave 的資料庫是以列存形式儲存在記憶體當中。
簡單了解MySQL HeatWave,先了解以下三條內容即可:
使用同一個MySQL 資料庫來支援OLTP 和OLAP;
資料以分區的方式儲存在記憶體;
應用程式無需做任何更改 。
MySQL HeatWave 的架構如下圖所示,它以一個插件的形式存在於整個MySQL 資料庫系統當中,它不會直接面對應用程序,可以理解為MySQL HeatWave 掛在了MDS 之下,用戶無需修改原有的資料存取方式。
MySQL HeatWave 外掛程式對應著若干個 MySQL HeatWave Node。 MySQL HeatWave 的資料在記憶體中以列存的方式存儲,其持久化的資料是存放在物件儲存中,可在 Node 失效後快速完成復原。
HeatWave 的資料以列存方式儲存在記憶體中,以便向量化處理,同時資料在載入到記憶體前會進行編碼和壓縮,可提高效能並減少記憶體佔用,從而降低客戶的成本。
基於行存資料做水平分區,基於水平分區,可以將查詢在節點級並行執行來加速scan、join、group-by 、aggr 和top-k 等算子,同時分區規劃是與底層RAPID 客製化硬體適配的。
分區內部將資料依照schema定義組織成列式存儲,以引入向量化執行,每個向量化計算的單位是16KiB 的vector,各列對應行的vector組合在一起成為chunk,每個partition 會有多個chunks。
為了適合 DMS,vector 又分割為多個 tile,每 64 行組成一個tile作為資料傳輸的最小單元。
為了減少記憶體的使用,所有儲存的資料都會做編碼或壓縮。
以下內容摘自Oracle 官網,網址為https://www.php.cn/link/4228bfbd579799d63cb20810ef5c04d1
#一個MySQL 資料庫滿足OLTP 和OLAP 兩個需求
高效能記憶體查詢加速器
In-database 機器學習
#MySQL 自動駕駛
#MySQL 湖倉一體(beta)
即時彈性
全託管資料庫服務
##進階安全性
RAPID 引擎支援語句中相關函數;
#RAPID 引擎執行時間評估少於InnoDB 的執行時間。
對於MySQL HeatWave 的數據,可透過以下三種方式進行載入:
在初次資料載入時可能會耗時久一些,在完成資料載入後,MySQL HeatWave 會自動地保持與InnoDB 資料一致,這裡值得關注的是,自動同步變更資料的模式是異步的,最多可能要使用者接受200ms 的資料延遲,也就是說MDS 上的資料變更不會等待MySQL HeatWave 的回饋。
MDS 會根據下列策略對資料進行同步:
每200 ms;
當變更傳輸緩衝區達到64MB 時;
#在MDS 中,經過DML 變更的資料被後續的HeatWave 查詢需要讀取時。
MySQL HeatWave 可支援在OCI(Oracle Cloud Infrastructure)、AWS(Amazon Web Services)和Microsoft Azure 上使用。
所需的 HeatWave 節點數取決於資料大小,OCI 和 Azure 最多支援 64 個節點。在亞馬遜網路服務(AWS)上,一個HeatWave叢集最多支援128個 節點。
混合部署是指本地部署OLTP 雲端部署OLAP 的方式,在這種混合部署中,客戶可以使用MySQL 複製將本機MySQL 資料複製到OCI 或AWS 的MySQL HeatWave,而無需透過ETL 來滿足分析業務需求。
這種混合部署方式需要考慮資料延遲情況,在「資料載入」中已介紹,InnoDB 和HeatWave 間資料是非同步進行傳輸的,加上網路的延遲,需要考慮數據的即時性問題。據了解目前中國區沒有 MySQL HeatWave。
OCI 支援部署在使用者的資料中心,可滿足合規要求,讓資料駐留在用戶的數據中心。這樣的部署方式具備以下特點:
具有獨立的OCI 雲端區域,由Oracle 託管;
滿足資料駐留在使用者資料中心的需求;
滿足低延遲的需求。
MySQL HeatWave 和Amazon Redshift 「最快的實例」進行效能對比,對19 次TPC-H 測試結果進行幾何平均計算後,MySQL HeatWave 比Amazon Redshift 速度快2.7 倍,成本僅Amazon Redshift 的三分之一。
MySQL HeatWave 和 Amazon Redshift 「低成本執行個體」進行效能對比,MySQL HeatWave 效能上要領先 Amazon Redshift 17 倍以上,投入成本持平。
從官方公佈的性價比數據來看,相較於圖上其他幾款產品,MySQL HeatWave 性價比最高。
在Oracle 公益教室中,我們可以了解MySQL HeatWave 的大概使用成本,對於這張圖我們只需要關注下半部分,對於2T 資料量的環境,每月的成本約為1260 美元。
其中包括了 MDS 費用、MDS 儲存的費用和 HeatWave 的費用。
HeatWave 在OCI 和AWS 兩朵雲的Roadmap 上的差異是比較有趣的,前面已提到可視化的資料載入只能透過AWS 來完成,不只是這項能力,透過下圖來看,AWS 在使用者體驗上要優於OCI 。
(https://www.oracle.com/mysql/#roadmap)
在OCI 中需要使用控制台時,將會跳轉到AWS。
對於Azure 用戶,仍然可以使用MySQL HeatWave 服務,它是透過Azure VNET 連接OCI 的MySQL HeatWave,也就是說,實際上使用的還是OCI 的環境。
目的是為 Azure 使用者提供原生使用者體驗,私有互聯的方式將網路延遲控制在 2ms 內。
(https://www.oracle.com/cloud/azure/oracle-database-for-azure/)
MySQL HeatWave 可支援在OCI(Oracle Cloud Infrastructure)、AWS(Amazon Web Services)和Microsoft Azure 上使用,也支援將OCI 部署到使用者資料中心。
啟用 MySQL HeatWave 外掛後,使用者可以透過一個 MySQL 服務來滿足業務在 TP 和 AP 的需求,而無需修改業務。透過內部流程自動完成資料同步,不需要單獨維護 ETL,可保持架構簡潔。自動駕駛(AI)和湖倉一體的能力給用戶更多期待。
MySQL HeatWave 彌補了 MySQL 在分析場景的能力,對於中小型企業有非常大的意義。
其中有兩方面不足之處,值得用戶關注:InnoDB 的儲存(擴充限制)及資料一致性問題。
擴充限制:MySQL HeatWave 可以提供擴充能力,但 MySQL InnoDB 儲存問題沒有在本質上被解決掉,InnoDB 面對大量資料的情況,仍有較大挑戰。
資料一致性:對於資料一致性需求較高的場景,需要考慮 InnoDB 到 HeatWave 的延遲問題(非同步傳輸)。
推薦學習:mysql影片教學
#以上是一文來聊一聊MySQL HeatWave的詳細內容。更多資訊請關注PHP中文網其他相關文章!