EN-Cn

Home > About Us > 企業動态 > 公司新聞 > 基于CDM技術的敏捷數據管理實...

基于CDM技術的敏捷數據管理實踐分享

Time:2022-06-22

光大證券 基礎數據管理團隊 孫偉、沈波


一、前言


近年來,證券業務快速發(fā)展,信息系統變更日益頻繁,兵爸敏捷開(kāi)發(fā)、快速叠代已經(jīng)上廠成(chéng)爲支持業務創新的必要條件。數據庫作爲信吧白息系統運行的重要支撐,數據準備和員好交付的自動化程度對(duì)系統開(kāi)發(fā)、測試效笑農率有較大的影響。


二、測試數據準備遇到的困難


測試數據的準備通常包括數據庫備份、數據我外庫脫敏、數據庫恢複等幾大步驟。在備份環節,我畫信司主要是利用數據庫自帶的備份功能(nén年玩g)進(jìn)行數據庫物理和邏輯兵山備份,并通過(guò)統一備份平台對(duì)備份文件湖靜進(jìn)行備份。


根據測試實際需求,如需要真實數據,到業我們通常采用灰度環境,灰度環境的數據和來準備主要有兩(liǎng)種(zhǒng)方式:直接采用實時(s吃如hí)備庫或者是采用與生産隔離的數據庫。


兩(liǎng)種(zhǒng)紅答方式各有優劣,第一種(zhǒng)方式的優點在于數據是實時(shí)和生産庫同一化步,省去了數據導入的環節,而且對(d海這uì)于某些數據庫如ORACLE DATAGUA街微RD可以利Flashback功能(néng)在測試完成(chéng)之哥光後(hòu)快速恢複與生産的同影電步,缺點在于如DB2,SQLSERVER,MYSQL等數老那據庫并不支持一鍵恢複同步功能(néng),往往女理需要重新恢複備庫以及和主庫同步關系;對(duì)于第二種體司(zhǒng)方式顯著優點是在于與生産環境隔離,導入和恢複都(dōu)不會雜冷(huì)影響到生産環境,更加安全,但是往往時(shí)術道間需要更久,因爲包括了備份文件傳輸友明,數據導入,也犧牲了實時(shí)性。


如果數據到測試或者開(kāi)發(fā)環境唱文,根據《證券期貨業信息系統運維管理規範》河匠數據用于非生産環境時(shí),應進(jì門動n)行脫敏處理。結合我司實際安全視身要求,脫敏工作必須在進(jìn)入測試或者開(kāi)發(fā)之腦都前完成(chéng)。對(duì)于全庫的數據準備分影步驟以及時(shí)間更加複雜:

需要在脫敏區域對(duì)數據庫備份文件進術器(jìn)行導入還(hái)原到脫敏區域;

通過(guò)脫敏工具對(duì)該庫中的敏感數問間據進(jìn)行脫敏;

重新進(jìn)行全庫備份;

備份文件通過(guò)至少2次傳輸到達測試環生黑境;

在測試環境進(jìn)行全庫導入/還(há女放i)原。


整個過(guò)程經(jīng)曆了2次備事還份,2次還(hái)原,至少2次傳輸操作,時(shí)間長(c相知háng)且複雜度高,嚴重影響測試開(kāi)發(fā)環境數據物兵準備。


除了影響測試數據的準備效率,我們還(hái)面又技(miàn)臨另外一種(zhǒng)場景,數據庫備份的定期驗證,定期驗證的重雜吧要性不言而喻,有多個案例表明在真正需要用到數據庫物現備份進(jìn)行恢複時(shí),發(fā)現備份文件不可用。尤其是對又東(duì)于一些穩态系統,由于日常叠代需求很低,如果不定期對(duì)數據庫備照些份進(jìn)行驗證,一旦遇到需要數據庫恢複場景相呢,很可能(néng)遭遇備份文件不可用局面(m見銀iàn)。結合行業要求,我司每季度會(hu件從ì)對(duì)所有數據庫備份文件進女市(jìn)行恢複驗證,由于數據庫長鐵種(zhǒng)類繁多,數據量很大,這(zhè)個工作需要耗費大量空錢的人力和時(shí)間。


基于以上遇到的問題,我們進(jìn)行了市場調什新研,接觸到了一種(zhǒng)基于CDM(Cop跳喝y Data Management,數據副本資舞管理)技術的敏捷數據管理平台,通過(guò)對(duì)該技術的運用,我們整放區合了CDM和脫敏相關工具,實現了生産到開(kāi火呢)發(fā)測試環境的數據快速交付,以及實現了備份數據的自動化周期性的都相恢複校驗。


三、基于CDM技術實踐


CDM技術簡介


Gartner對(duì)CDM器還的定義是,它從生産環境通過(guò)快照技術獲取有應用一緻性保證的數據開開,在非生産存儲上生成(chéng)“黃金副本學船”(Golden Image),這那請(zhè)個“黃金副本”數據格式是原始的磁和飛盤格式,可再虛拟化成(chéng)多個副放謝本直接挂載給服務器,分别用于備份恢複、容災或開(kāi)發時員(fā)測試等。


基于CDM技術的敏捷數據管理實踐


我們在調研市場後(hòu),發(f話雜ā)現當前主要存在以下三種(zhǒng)CDM技術産品:

1、以存儲爲核心提供的CDM,雖然能(néng)夠提供快照我票和克隆功能(néng),但很難實現跨異構存儲,構建企業級畫醫規則驅動的副本數據平台,并缺乏豐富的數據服務能我城(néng)力,無法提供自動化、自服務等功能(né理件ng)。


2、塊級CDP技術提供的CDM東他功能(néng),利用CDP技術所創建的副本數據,是一種(zhǒng)水暗磁盤快照技術,無法保證數據的一緻性場件,并且同一時(shí)間的磁盤快照隻能(néng)挂載一份,資子難以滿足多應用場景的數據需求。


3、端到端的CDM:把單純面(miàn)向(xiàng)恢複的應用場景,變成算志(chéng)了面(miàn)向(xiàng)數據使用的應用場景,姐友通過(guò)副本數據在各個業務環節的即時(shí)可用草化,爲更多業務場景提供數據支撐。


以存儲爲核心的CDM和塊級CDP提供的CDM功能(né理個ng),按照Gartner的定義,屬于“類”吃那CDM。我們最終選擇了端到端的CDM技術産品,在生産到灰度環境、生産到開個我(kāi)發(fā)測試環境的數據快速交付,以及備份數能市據的自動恢複校驗三個應用場景。



圖1:整體業務架構拓撲



生産到灰度環境的數據快速複制


利用CDM産品的數據庫虛拟化技術,通過(guò)一份數據副本,可快速畫不創建出多個虛拟數據副本,這(zhè)些虛拟數據副本幾乎不占用任何船靜存儲空間,且整個發(fā)布動作可以分鍾級完成(c妹山héng)。


1)具體流程:

對(duì)接生産庫備庫,定時(shí)線關進(jìn)行全量,增量備份,并實時(shí)備份獲銀煙取數據歸檔日志;


2)當需要數據時(shí),將(jiāng)指定時(shí)間點的數據挂載發放外(fā)布到灰度環境(發(fā)布到灰度環境上數據不需要話謝脫敏);


3)測試結束後(hòu),銷毀灰度數據庫。


生産到開(kāi)發(fā)測試環境的數據快速複制


通過(guò)部署CDM方案,分鍾内創建完成(chéng)虛拟數據庫木都并調用脫敏系統對(duì)虛拟數據庫執行脫敏,脫敏後(hò站說u)數據自動推送複制到中間網CDM,經(jīng)過(guò)中間網CD低如M節點可將(jiāng)脫敏數據分鍾級挂載發(fā)布到測我個試網,有效減少開(kāi)發(fā)測試場在紙景中測試數據的準備時(shí)間,提高開(kāi遠從)發(fā)測試環境搭建的效率。


(1)網絡說(shuō)明

生産網和測試網進(jìn)行物歌森理隔離,生産網和中間網、中間網和測試網分别可章討點對(duì)點打通。


(2)開(kāi)發(fā)測試數據快速交付

1)在生産網和中間網分别部署CDM節點;做公

2)生産數據脫敏在生産網内完成(chéng業飛);

3)生産網CDM節點將(jiā路劇ng)脫敏後(hòu)的數據推送到中間網CDM節點;

4)脫敏數據通過(guò)中間網挂載發(fā)布到測試網的開(kāi)發(市到fā)測試環境;

5)測試結束後(hòu),按策略定期銷毀數據。


(3)數據脫敏

部署CDM前的數據脫敏,需要分别在生産網和中間網各部署街喝一套脫敏系統,生産數據不能(néng)直厭可接給到測試網,需要經(jīng)曆從生産網雪議到中間網、從中間網到測試網的兩(liǎng)次數據抽取和脫敏,并且是面爸又(miàn)向(xiàng)整庫全量數據的抽取。

部署CDM後(hòu)的數據脫敏,生産網部署一套脫敏系公熱統,將(jiāng)數據發(fā)布到生産靜森網的脫敏環境并執行脫敏任務後(hòu),脫敏數據利用CDM節點之間的遠吧靜程複制功能(néng)推送到中間網,并通過(guò)票子中間網挂載發(fā)布到測試網。


(4)測試數據版本管理

開(kāi)發(fā)測試環境在使用數據的過(guò)程中存在測試數據版本回退日她、新老版本并行測試等場景。通過(gu黑電ò)CDM的虛拟數據庫版本管理機制,可以實現秒級輛靜版本回退操作,以及通過(guò)版本生雜快照分鍾級創建曆史版本數據環境,實現曆史環境、當們員前環境的新老版本并行對(duì作近)比測試。并且,使用中的虛拟數據庫可以實現秒級創建動态快照,虛拟數據庫可持續自音保持對(duì)外提供服務,不影響測能又試業務連接。



備份數據的自動校驗


校驗的主要目的是爲了定期檢驗備份文件有效性,保證在恢複和還(hái窗電)原數據文件時(shí)的可用。


利用CDM對(duì)接我司統一備份平台,實相算現備份數據的自動化恢複校驗。定時(s外還hí)抽取備份數據并自動進(jìn)行有效性驗證,保證備份數據的可用。計文過(guò)去,考慮到作業周期長(chá一唱ng),工作量大,備份數據校驗按季度文地來進(jìn)行,在CDM方式下可縮短至按周進(jìn)自跳行。



四、結束語


通過(guò)CDM解決方案的實施,我們實現了一個平高雨台、一站式解決數據獲取,數據存儲,數據構建,數據使用,數據銷毀,在保證術多合規性基礎上,以敏捷的數據全生命周期管理,更好(hǎo)地實現數據共享和數據小電利用。

Share:
×
Privacy
×

此處放标題

内容暫無















FREE TELL:400-880-5062
電話:86-21-51905999
傳真:86-21-51905959
郵編:201203
地址:上海市浦東新區張江高科技商西園區郭守敬路498号20号樓
I agree