如同高跟鞋之于女人,格子衫之于程序员,奥特曼之于小男孩…总有一股說(shuō)不清,道(dào)不明的因子,让他们如同被(bèi)施附了魔法一般,甘愿沉浸其中。今天,CDM之于企业ITer,也正在徐徐呈现属于它的独一无匠習二的“数据魔法”。
早在2017年Taneja Group的一项研究就(jiù)表明,超過(guò件場)30%的公司正在考虑或实施CDM(Copy Data Management,数据副本管理)产品。在國(guó)内習場,金融和运营商行业的多家头部用户中了也在近兩(liǎng)年相继完成(ché些長ng)了CDM产品的部署和应用…随著(zhe)数字化转型進(jìn)入深水区,数据成(chéng)为企业最关光嗎键的生产资料,CDM“何许人也”,又究竟有何魔力,赢得了诸多企业的青睐?CDM技术“朋友圈”目前聚集了哪些“小伙伴”,這(zhè)项技术未来又將(jiāng)保持怎不要樣(yàng)的演進(jìn)……
一个数百亿美元的蓝海市场
统计显示,平均每个企业要为应用開(k秒坐āi)發(fā)、QA、用户验收、产品支持、报告和备份等,从生产数据源创建8-10份数据副本。因此,以一个5TB的生产数据库为例,往往要为下游创建出40-50TB的数据副本。一家500强企业甚至拥有超過(guò)上千个生产数据库,数窗妹据副本达到PB级规模。
大量的数据副本存在不可避免地造成(chéng)了中知一定程度的资源浪费以及维护開(kāi)就務销的增長(cháng),有数据表明,企业80%的存储能(néng)力都(dōu)被(bèi)次级数据所使用。
援引自IDC的数据也显示,目前每年在Copy Data上的開(kāi)销达到460亿美元,企业内的数据副本消耗了60%的存储空间,并且65%的存储软件和85%存储采购由此产生。
资料来源:IDC
不仅如此,在传统的生产协作流程中,当開(kāi)發(f空空ā)和测试人员想要获取必须的数慢玩据副本時(shí),往往需要从提交申请,到完全准备好(hǎo)环境,耗時木報(shí)几天甚至以月为单位(公通数据交付時(shí)间视数据规模,視生环境准备情况等而定)。
這(zhè)樣(yàng)的数了睡据管理实践并非最佳,不仅大量浪费了存储资源,而且還(hái)带来了房哥数据合规和敏捷性等方面(miàn)的问题,影响了用户廠河应用程序的快速迭代,這(zhè)對(duì)于今天追求敏捷转型和DevOps转型的企业而言难以接受。
为了帮助企业统一管理海量的非关键性数据,尤其是冗余的数据副本,业界采用了CDM技术。什麼(me)是CDM?它的主要应用场景又是什麼(me)?Gartner對(duì)此提出:它从生产环境通過(guò)快照劇廠技术获取有应用一致性保证的数据,在非生产存储上生成(chéng)“黄金副本”(Golden Image),這(zhè)个“黄金副本”数据格式是原始的磁盘格式,可再虚拟化成(chéng)多个副本直接挂载给服务器,分别用于备份恢复、容灾或開(說姐kāi)發(fā)测试。
Gartner《Hype Cycle for Storage and Data她綠 Protection Technologie報林s, 2020》报告指出,CDM技术已經(jīng)度過(guò)了了早期的技术炒作期,目前处窗家于“泡沫化的低谷期”(trough of disillusionment),這(zhè)从侧面(miàn)訊銀說(shuō)明一些客户開(kāi)始在非关键性业务场景集中部署這(zhè)麗化项技术,而且Gartner也预测CDM技术將(jiāng)在未来5-10年内進(jìn)入“实质生产的高峰期”(plateau of productivity)。
聚焦到CDM技术实现的业务价值,主要体现在以下几个方面(miàn):
第一,降低存储成(chéng)本。利用数据虚拟化技术,单个数据副本即可满足開(kāi)發(fā)、测试、备能跳份、恢复、数据脱敏、统计分析等多種(zhǒng)工作负载需求,同時(shí)利用高效的数据压缩技术,進(jìn)一步节省了存储空间,减少企业不必要的存储開(kāi)支(以下图上讯信息ADM产品数据拷贝方式为例)。
ADM数据拷贝方式,资料来源:上讯信息
第二,缩短数据交付周期。数据准备从原来的按天或者月为单位,缩短到分钟级,数生場据分發(fā)达到秒级。基于CDM技术的数据副本的交付与管理,大時土大节省了数据交付的時(shí)间,为企业构建了更加敏捷的数据管理風行基础架构,加速了企业的DevOps建设,缩短了业务的開(kāi)發(fā)测试周期,实现了产品的快速迭代。
第三,降低人力時(shí)间投入。传统方式下,数据的导入和导出无法自动完成(chéng),面(miàn微答)對(duì)開(kāi)發(fā)和测试人员的訊讀需求,需要通過(guò)人为的传递才能(néng)完成(chéng)数据關答从生产环境到测试环境的迁移,而且這(zhè東亮)个過(guò)程中還(hái)可能(né區務ng)需要持续的获取增量数据资源。CDM技术实现了全流程的自动化配置和编排,从审批到数据的导入和导出,這(zhè)个過(guò)程只需要在统一的管理界面動木(miàn)上鼠标点击操作,几步即可自动完成(chéng),极大黃內减轻了存储管理员和DBA的工作负荷,降低人力時(shí)间投入。
第四,提升数据集中管控能(néng)力。過(guò)去,数据移交到使用部门之後(hòu),管控权利完全在使用部關冷门,只能(néng)用流程来控制数据的用後計筆(hòu)销毁,存在较高的安全管控风险。CDM融合了数据动态和静态脱敏,权限管控,合规审计等多種(zhǒng)数据保护策略,以集中的数据管控,防范敏感数据新服泄露,杜绝不当或者误操作,以及保留事(shì)後(hòu)的可追溯。交付使用的通理数据,可以通過(guò)CDM管控平台实现数据的统一集中管控,杜绝测试数据出现数据孤岛,在数据使用完之後(hòu),可以实现数据的快速回收以释放占用资源,杜绝暗数据的出现。
备份和CDM,孰是孰非
在國(guó)内,备份和CDM容易被(bèi)混淆,有不少备份厂商在其备份产品上通過(guò)增加一些CDM功能(néng),作为备份的补充,比如用作快速拉起(qǐ)恢复或者微商备份校验,也许从用户肉眼可见的角度看,功能(néng飛信)上都(dōu)归整到了统一的界面(miàn)上,但实际上二者的後(hòu船電)台逻辑相差甚远。
备份从根本上是作为数据的保底存在,一旦發(fā)生物理或家飛逻辑故障,为用户提供了灾难恢复的手段。而CDM侧重于對(duì)数据的生命周期管理,是窗相牵涉到用户数据获取,数据存储,数据使用的全流程的生产力工具事會。
传统备份技术是將(jiāng)数据恢复後(hòu)交付使用,恢复的過(guò)程很長(cháng),而CDM保存的是原始格式数据,可以直接交付使用。
从功能(néng)上看,备份更多是放爸作为CDM其中的一项数据获取手段。CDM副本数据管理基于数据虚拟化等核心技术,自动化实现了从数据获取到数据使用再自睡到数据归档,数据销毁的全生命周期管理。其中,在数据获取环节既可票輛以通過(guò)用户既有备份系统内获取数据,也可以通過(guò)从生产环境实時(shí)获取数据,分腦又或者用户以脚本的方式自助上传這小数据等多種(zhǒng)方式。相比备份,CDM更加关心的是数据的交付使用与管理。
全球生态,风景這(zhè)边独好(hǎo)
過(guò)去的十多年時(shí)间,CDM的主要玩家分布在北美。在國(guó)内,从線計上讯信息2016年發(fā)布了國(guó)内第一款真正意义上的CDM产品開(kāi)始,近兩(liǎng)年CDM技术在金融和运营商這(zhè)兩(liǎng)个行事輛业的蓬勃發(fā)展,推动了開知城(kāi)發(fā)测试场景的数据架构转型,并且大有替代传统备份之势。
1、Actifio
Actifio成(chéng)立于2009年。2020年,谷歌宣布收购Actifio,收购完成(chéng)後(hòu),年高Actifio會(huì)并入Google Cloud。
Actifio的多云复制数据管理(Copy Data Management)软件平台虚拟化拷贝数据,允许以原生格式對時畫(duì)数据的虚拟副本進(jìn)行完整的生命周期管理。通過(guò)一套丰低匠富的API,Actifio的软件可以无缝地集成(chéng)到任何IT服务管理工具、DevOps工具链或定制的脚本和应用程序中。
Actifio数据虚拟化IT架构及实现原理
2、Cohesity
Cohesity成(chéng)立于2013年,公司CEO兼联合创始人Mohit Aron,之前還(hái)联合创立過(guò)Nutanix,目前该公司最新的市场估值达到37亿美元。
對(duì)于Cohesity公司来說(shuō),在线备份只是其完整数据管子城理平台的一部分,该平台专注于解决大规模数据快空碎片所造成(chéng)的问题。它侧重于帮助企业保還南护和管理位于许多不同位置的二级数据。
3、Rubrik
Rubrik也是由前Nutanix的人员發(fā)起(qǐ)创立,提供跨越本地、云端和混合云环境中的企业数据管理和話麗备份服务。
全球有2500多家企业和政府使用Rubrik公司的Cloud Data Management解决方案来管理和协调跨数据中心和云的数据。其提供一个单一的数据平台,可以跨数据中心和云安全地提供备份,恢复,分析白要和合规性。承诺快速恢复,提供接近0的RTO。另外還(hái)提供SLA自动化和API优先的架构。
4、Delphix
Delphix成(chéng)立于2008年。Delphix提供了一个API优先的数据平台,该平台跨越多云并支持从云原生主机到旧式大型机的所不站有应用程序。Delphix可自动执行一系列关键的复杂数据操作,包括遵守GDPR和CCPA等隐私法规。
Delphix声称借助其平台,可將(jiāng)数据占用空间减少10倍,將(jiāng)资源调配速度提高100倍。借助Delphix虚拟化,用户可在几分钟内大规模配置轻身玩量级虚拟数据库副本,大规模地將(jiāng)数据从生产环境复制到非生产环境,吧議以及使用刷新,回滚和快照功能(néng)管理虚拟数据库等操作。讀人
5、Catalogic
Catalogic 2013年成(chéng)立,总部位于美國高個(guó)新泽西州。ECX是该公司提供的CDM软件产品,大大简化了副本数据管理,实现了数据副本的自动化男又和编排,可以在整个企业和云中利用该副本進(jìn)行各種(zh如慢ǒng)创造价值的用例。借助Catalogic ECX,將(jiāng)開(kāi)發(fā)/测试基础架构管理時(shí)间减少了雨少多达99%。
ECX還(hái)可以帮助用户將(jiāng畫多)数据移动到云中,利用云中成(chéng)本更低,司對更具弹性的计算基础架构,借助ECX,在某些用例中利用云時(shí),用户的在城投资回报率超過(guò)300%。
6、上讯信息
上讯信息2010年成(chéng)立,2016年率先發(fā)布了國(guó)内首款CDM产品—敏捷数据管理平台(ADM),這(zhè)是一款集数据验证恢复、数据虚拟化、数据脱敏和数据库审计为一体的数据全生命周期管理产品。通過(guò)一个平台,解决数据获取,数据存储,司習数据构建,数据使用,数据归档,数据销毁的所有数据问冷視题。
数据使用的全生命周期管理,资料来源:上讯信息
ADM核心技术-数据虚拟化技术,可以通過(guò)一份数据的“黄金副本”快速创建出多份数据副本交付使用,所交付的数据都(d城醫ōu)是可读可写的,并且可以达到分钟级的数据輛花交付效率,以及实现10倍以上的存储成(chéng)本节省。目前,ADM获得了金融和运营商行业多家头部客户的使用和持续复购。
CDM:我的未来不是梦
對(duì)每一家致力于数据驱动的企业和组织現都而言,CDM技术无疑重塑了其過(guò)去臃肿的数据架构和繁冗的数据管理可書流程,以敏捷的数据架构就(jiù)绪企业数字化转型,加速业务交付,提高企业的决策效率以及生产力水平。
但這(zhè)并不是CDM的全部,這(zhè)项令人著(zhe)迷不已的技术未来又將(jiāng)拥有怎樣(y靜生àng)的蜕变?做一些预测:
第一,跨越本地数据中心,边缘和多公有云的土工数据流动和存储。CDM需要满足混合多云時(shí)代用户對(duì)数据在不同端的流动和统一師兵管理的需求,支持不同位置的基础环境,例如可利用公間行有云更加經(jīng)济、弹性的存储资源,進(jìn)一步月頻降低OPEX。而无论是部署于边缘,本地還(hái)是多公有云,都(dōu)需要满足一致性和器紅可用性服务体验。
第二,以数据为中心,打通数据上中下游链条,实现数据的文樹全生命周期管理。从产品的角度,可以基于灵活的license授权,为用户按需交付备份容灾,备份校验,数据虚拟化,数据脱敏看要,合规审计等不同功能(néng)線很,而从後(hòu)台逻辑来看,支持一个统一的数据平台,能(néng)够无缝连通数据的全生命周期统一校南管理。
第三,CDM技术与垂直应用场景的紧耦合,强关联。例如,開(kāi)發(fā)测试场景下,能(néng)否基于房門一套数据平台,跑通所有的開(kāi)發(fā)测试作业,不間而无需额外使用第三方平台,例如测试版本控制,以降低额外的资源消銀森费,提高開(kāi)發(fā)测试效率。
相信随著(zhe)技术的不断完善以及生态的成劇算(chéng)熟,CDM,未来可期!
此处放标题
内容暂无