基于CDM技術的敏捷數據管理實踐分享

光大證券 基礎數據管理團隊 孫偉、沈波

一、前言

近年來，證券業務快速發(fā)展，信息系統變更日益頻繁，敏捷開(kāi)發(f小相ā)、快速叠代已經(jīng)成(ché上裡ng)爲支持業務創新的必要條件。數據庫作爲信息系統運行的重了風要支撐，數據準備和交付的自動化程度對(duì)系統開(kāi)花電發(fā)、測試效率有較大的影響。

二、測試數據準備遇到的困難

測試數據的準備通常包括數據庫備份、數據兒志庫脫敏、數據庫恢複等幾大步驟。在備份環節，我司主要是利用數據庫自帶的備份功小腦能(néng)進(jìn)行數白紙據庫物理和邏輯備份，并通過(guò)統一備份平台對(duì)備份文件進(j務河ìn)行備份。

根據測試實際需求，如需要真實數據，我們通常請動采用灰度環境，灰度環境的數據準備主要有兩(li拍懂ǎng)種(zhǒng)方式：直接采用實為現時(shí)備庫或者是采用與生産隔離的數據庫。

兩(liǎng)種(zhǒng)方式腦睡各有優劣，第一種(zhǒng)方請花式的優點在于數據是實時(shí)和生産庫同步書河，省去了數據導入的環節，而且對請學(duì)于某些數據庫如ORACLE DA校個TAGUARD可以利Flashback功能(néng要章)在測試完成(chéng)之後煙體(hòu)快速恢複與生産的同步，缺點在于如DB2，SQLSERVER,MYSQ姐兒L等數據庫并不支持一鍵恢複同步功能(néng訊場)，往往需要重新恢複備庫以及和主庫同步關系；微作對(duì)于第二種(zhǒng)方式顯著優點是兵白在于與生産環境隔離，導入和恢複都(dōu)不會(h到人uì)影響到生産環境，更加安全，但是往往時(shí)間需要更久，因爲包括去離了備份文件傳輸，數據導入，也犧牲了實時(s喝亮hí)性。

如果數據到測試或者開(kāi)發(fā)環境，根據《證券期貨業信司員息系統運維管理規範》數據用于非生産環街理境時(shí)，應進(jìn)行脫敏處理。結合我司實際安全要求，脫敏工作必須在畫雪進(jìn)入測試或者開(kāi)發(fā這銀)之前完成(chéng)。對(duì)兒那于全庫的數據準備步驟以及時(shí)間更加複雜：

需要在脫敏區域對(duì)數據庫備份文件進關自(jìn)行導入還(hái)原到紅街脫敏區域；

通過(guò)脫敏工具對(duì)該庫店她中的敏感數據進(jìn)行脫敏；

重新進(jìn)行全庫備份；

備份文件通過(guò)至少2次傳輸到達測試環境；

在測試環境進(jìn)行全庫導入/還(hái)原。

整個過(guò)程經(jīng)曆了2次備份，2次還(hái)原，人河至少2次傳輸操作，時(shí)間長(cháng)且複吃民雜度高，嚴重影響測試開(kāi)發(fā坐跳)環境數據準備。

除了影響測試數據的準備效率，我們還(hái她小)面(miàn)臨另外一種(zhǒng)場景，數據庫備份的定期驗證窗鐵，定期驗證的重要性不言而喻，有多個案例表明在真正需要用到數據庫備冷少份進(jìn)行恢複時(shí)，發(fā)現備份文件不可用。算那尤其是對(duì)于一些穩态系統，由于日常叠代需求很低，如果不定期腦公對(duì)數據庫備份進(jìn懂大)行驗證，一旦遇到需要數據庫恢複場景，很可能事笑(néng)遭遇備份文件不可用局面(miàn)。結報間合行業要求，我司每季度會(huì)對(duì)所有數據金上庫備份文件進(jìn)行恢複驗證，由于數據庫種(zhǒng)類繁到吧多，數據量很大，這(zhè)個工作需要耗費大量的人力和時(為內shí)間。

基于以上遇到的問題，我們進(jìn)行了市場調研，接觸到了一種(zhǒ區女ng)基于CDM（Copy Data Management，數據副為離本管理）技術的敏捷數據管理平台，通過(guò)對(duì)高些該技術的運用，我們整合了CDM和脫新微敏相關工具，實現了生産到開(kāi)發(fā)測試環境的數據快問機速交付，以及實現了備份數據的自動化周期性的恢複校驗。

三、基于CDM技術實踐

CDM技術簡介

Gartner對(duì)CDM的定義是，它從生産環境通過(gu城門ò)快照技術獲取有應用一緻性保證的數據，在非生産存儲上生成(chéng水妹)“黃金副本”（Golden Image）通刀，這(zhè)個“黃金副本”數據格式是原始的磁盤格式，可再虛拟化成(chéng計森)多個副本直接挂載給服務器，分别用著子于備份恢複、容災或開(kāi)發(fā)測試等。

基于CDM技術的敏捷數據管理實踐

我們在調研市場後(hòu)，發(fā)現當前主快銀要存在以下三種(zhǒng)CDM技術産品：

1、以存儲爲核心提供的CDM，雖然能(néng)夠提供快照和克隆光森功能(néng)，但很難實現跨異構存儲，到那構建企業級規則驅動的副本數據平台，并缺乏筆一豐富的數據服務能(néng)力子數，無法提供自動化、自服務等功能(néng)媽嗎。

2、塊級CDP技術提供的CDM功能(néng)，利用CDP技術所創建的副本數據雨船，是一種(zhǒng)磁盤快照技術，無法保證數據的一緻白技性，并且同一時(shí)間的磁盤快照隻能(néng)挂載一友哥份，難以滿足多應用場景的數據需求。

3、端到端的CDM：把單純面(mià我舞n)向(xiàng)恢複的應用場景，變成(chéng)了面樹玩(miàn)向(xiàng)數據使用的應用場景，通過(g金坐uò)副本數據在各個業務環節的即時(s音快hí)可用，爲更多業務場景提供數據支撐。

以存儲爲核心的CDM和塊級CD子他P提供的CDM功能(néng)，按照Gartner的定義，屬于“類”北見CDM。我們最終選擇了端到端的C房民DM技術産品，在生産到灰度環境、生産到開(kāi)發(件火fā)測試環境的數據快速交付，以及備份數據家劇的自動恢複校驗三個應用場景。

圖1：整體業務架構拓撲

生産到灰度環境的數據快速複制

利用CDM産品的數據庫虛拟化技術，通過(gu朋但ò)一份數據副本，可快速創建出多個虛拟數據副本，報很這(zhè)些虛拟數據副本幾乎不占用任何存儲空間，且整個機好發(fā)布動作可以分鍾級完成(chéng)。

1）具體流程：

對(duì)接生産庫備庫，定時(shí)進(jìn)行全時金量，增量備份，并實時(shí)備份獲取數據歸檔日件刀志；

2）當需要數據時(shí)，將(jiāng)指定時(shí)間錯科點的數據挂載發(fā)布到灰度環境（發(fā)布到灰湖學度環境上數據不需要脫敏）；

3）測試結束後(hòu)，銷毀灰度數據庫。

生産到開(kāi)發(fā)測試環境的數據快速複制

通過(guò)部署CDM方案，分鍾内創建完成(chéng)虛拟數據庫并調用在老脫敏系統對(duì)虛拟數據庫執行脫敏，脫敏後(hòu)數據自動推送複制到吧筆中間網CDM，經(jīng)過(guò)中間網CDM節點可將(jiāng)脫敏對煙數據分鍾級挂載發(fā)布到測試網，有效減少開(kāi)見紙發(fā)測試場景中測試數據的準備時(shí)間，提高開(線鐵kāi)發(fā)測試環境搭建的效率。

（1）網絡說(shuō)明

生産網和測試網進(jìn)行物理隔離，生筆銀産網和中間網、中間網和測試網分睡老别可點對(duì)點打通。

（2）開(kāi)發(fā)測試數據爸影快速交付

1）在生産網和中間網分别部署CDM節點；

2）生産數據脫敏在生産網内完成(chéng)；

3）生産網CDM節點將(jiāng)脫敏後(hòu)的數據推送到中喝現間網CDM節點；

4）脫敏數據通過(guò)中間網挂載發(fā)布到測試網的開(可煙kāi)發(fā)測試環境；

5）測試結束後(hòu)，按策略定期銷毀數據。

（3）數據脫敏

部署CDM前的數據脫敏，需要分别在生産網和中間網費現各部署一套脫敏系統，生産數據不能(n物請éng)直接給到測試網，需要經(j話數īng)曆從生産網到中間網、從中間網到測試網的兩(liǎ朋草ng)次數據抽取和脫敏，并且是面(miàn)向(xiàng)整靜亮庫全量數據的抽取。

部署CDM後(hòu)的數據脫敏，生産網部署一套脫敏系飛好統，將(jiāng)數據發(fā)布到生産網的脫敏環境并執行脫敏任務後(hòu懂頻)，脫敏數據利用CDM節點之間的遠程複制功能(néng)推送到中間網，并通過(錢哥guò)中間網挂載發(fā)布到測試網。

（4）測試數據版本管理

開(kāi)發(fā)測試環境在使用數據的過(gu路間ò)程中存在測試數據版本回退、新老版本并行測試等場景。通過(guò)少冷CDM的虛拟數據庫版本管理機制，可以實現秒級版本回還相退操作，以及通過(guò)版本快照女路分鍾級創建曆史版本數據環境，實現曆史環境、當前環境的新老版本并行對刀人(duì)比測試。并且，使用中的虛拟數據睡通庫可以實現秒級創建動态快照，虛拟數據庫可持續保持對(duì)外提供服雨離務，不影響測試業務連接。

備份數據的自動校驗

校驗的主要目的是爲了定期檢驗備份文件術業有效性，保證在恢複和還(hái)原數據文件時(shí)的可用花從。

利用CDM對(duì)接我司統一備份平台，實現備份數據的自動化恢複校視他驗。定時(shí)抽取備份數據并自動進(jìn)行有效性驗匠煙證，保證備份數據的可用。過(guò)去，考慮到作業周期長(ch國長áng)，工作量大，備份數據校驗按季度來進(jì我地n)行，在CDM方式下可縮短至按周進(jìn)年鐘行。

四、結束語

通過(guò)CDM解決方案的實施票線，我們實現了一個平台、一站式解決數據獲取，數據存儲，數據構建，厭作數據使用，數據銷毀，在保證合規性基礎上，以敏捷的數據全生命周期管理，更文讀好(hǎo)地實現數據共享和數據利用。