您現在的位置是:首頁 > 網頁遊戲首頁網頁遊戲
深度 | 你真的瞭解分散式資料庫嗎?
- 2022-06-10
何為分散式資料庫產品
分散式資料庫進入人們的視野已經很久了。相對於傳統的集中式資料庫,分散式資料庫在
高效能、高可用、平滑拓展、高可靠、低成本
等許多方面具有優勢。但時至今日,關於分散式資料庫,似乎一直缺少足夠權威和客觀的解讀。
現在,國家白皮書來了!
為了明確分散式資料庫的概念,梳理分散式資料庫的技術體系和應用現狀,對未來的技術和應用趨勢進行研判,中國軟體評測中心牽頭組織了眾多資料庫廠商參與,調研了國內主要分散式資料庫產品廠商,並對部分產品進行了測評,參考了國內外主要研究機構的學術成果,歷時半年共同編制了
《分散式資料庫發展路徑研究》
報告,為我國的分散式資料庫產業和技術發展提供參考,為分散式資料庫的發展路徑提出建議。
以下是部分報告精華,關注
「萬里資料庫」
公眾號,回覆關鍵詞
【白皮書】
,即可下載報告全文。
01 分散式資料庫的概念及分類
根據目前我國分散式資料庫技術現狀,我們認為分散式資料庫是具備分散式事務處理能力、可平滑擴充套件、分佈於計算機網路且邏輯上統一的資料庫,具有
分散式事務處理、平滑拓展和物理分佈、邏輯統一
等特徵。
為了保障跨多個節點的事務原子性、一致性,分散式資料庫一般使用分散式協議來處理分散式事務。常用兩階段提交協議、三階段提交協議保障事務的原子性;使用Paxos、RAFT等協議同步資料庫事務日誌從而保證分散式事務的一致性。
在儲存技術上,比較常見的有複製和分割槽兩種方式,採用無共享架構,保證資料庫的高可用和低延時等。
按照對資料處理的不同方式,分散式資料庫主要分為三類:
聯機事務處理、聯機分析處理和混合事務分析處理
。
聯機事務處理
(On-Line Transaction Processing, OLTP )是事件驅動、面向應用的,也稱為面向交易的處理過程。其基本特徵是前臺接收的使用者資料可以立即傳送到計算中心進行處理,並在很短的時間內給出處理結果,是對使用者操作的快速響應。例如銀行類、電子商務類的交易系統就是典型的OLTP系統。
聯機分析處理
(On-Line Analytical Processing,OLAP)是面向資料分析的,也稱為面向資訊分析處理過程。它使分析人員能夠迅速、一致、互動地從各個方面觀察資訊,以達到深入理解資料的目的。其特徵是應對海量資料,支援複雜的分析操作,側重決策支援,並且提供直觀易懂的查詢結果。例如資料倉庫是典型的OLAP系統。
混合事務分析處理
( Hybrid Transaction/Analytical Process,HTAP)由Gartner 於2014年提出。目前HTAP方案主流大體有兩個方向,根據OLTP和OLAP負載是否使用相同的節點或者引擎,分為統一架構和分離架構。HTAP避免了繁瑣且昂貴的ETL(抽取、轉換、載入)操作,而且可以更快地對最新資料進行分析。這種快速分析資料的能力將成,為未來企業的核心競爭力之一。
02 分散式資料庫發展的現狀及問題
分散式資料庫發展至今,具備
平滑拓展與高效能、容災備份與高可靠、高可用和低成本
等優勢,同時已經在網際網路和金融等領域有了成熟的案例。
以金融領域為例,
2019年,萬里資料庫與光大銀行基於萬里資料庫原始碼聯合研發了EverDB資料庫,並應用於某國有大型股份制銀行的雲繳費、統一支付平臺等核心業務系統中。
透過兩地三中心的部署方案,實現事務強一致,確保RPO為0,並實現QPS超7萬、TPS超3000的強勁效能,打破Oracle資料庫壟斷。
分散式資料庫雖然具備獨特技術應用優勢,但其發展也面臨一系列問題:應用系統面對分散式資料庫的合理選擇問題、遺留系統面對分散式資料庫的遷移改造問題、分散式資料庫運維管理較為複雜問題和分散式資料庫產品成熟度有待提升問題(詳情見報告正文)。
03 分散式資料庫發展趨勢
目前,國內絕大部分資料庫企業均推出了分散式資料庫產品,我國分散式資料庫發展基本與國際同步,在一些技術指標和應用層面甚至處於領先水平。在未來,分散式資料庫可能會朝著這些方向發展。
(1)
分散式資料庫的產品化日趨成熟
隨著國產分散式資料庫在金融、網際網路等重點行業中的應用,促使產品技術不斷迭代,相容性、易用性、可擴充套件性等問題將一一克服。未來隨著分散式資料庫等的標準體系及評價體系的健全,分散式資料庫產品的生態體系也將逐漸完善,在運維保障、資料遷移、執行監測等方面的配套工具也將逐步成熟。
(2)
與人工智慧等新技術融合實現高效運維
在數字經濟的推動下,資料的全生命週期管理尤為重要,而分散式資料庫資料通常由幾十臺至數千臺伺服器組成,資料庫的運維顯得尤為重要。隨著人工智慧技術的發展,將人工智慧技術融入分散式資料庫的全生命週期,實現自運維、自管理、自調優、故障自診斷和自愈,是未來發展的必然趨。勢。另外,在交易、分析和混合負載場景下,可以透過人工智慧的學習演算法,實現資料庫的自動調優。
(3)
分散式資料庫的服務方式將向雲化發展
雲計算技術已在我國各行業資訊化建設中大規模應用,為適應未來信創領域資訊化建設技術方向,降低資料庫運維成本,靈活排程資源,國內資料庫廠商積極佈局雲資料庫產品及服務。阿里雲、騰訊雲、華為等已經發布了基於自有云平臺的雲資料庫產品,
萬里資料庫也推出了雲資料庫服務平臺,可實現裸機、PaaS 或IaaS 環境上資料庫叢集群全生命週期的運維管理與服務編排,協助企業構築安全、綠色、節能的雲資料庫中心。總體上,國內雲資料庫與國際先進水平基本持平,為未來信創雲資料庫發展提供良好基礎。
關注
「萬里資料庫」
公眾號,
回覆關鍵詞
【白皮書】
,
即可下載報告全文哦~