在即将发布的PolarDB-X5.4.14版本中，我们将基于OSS存储服务，推出冷热数据分离存储这一新功能。在这一功能的基础上，您可以便捷地将冷数据从源表中剥离出来，归档至更低成本的OSS中，形成一张归档表；归档表支持高效的主键与索引点查、复杂分析型查询，满足高可用、MySQL兼容性和任意时间点闪回等特性。您可以像访问MySQL表一样来访问归档表，也可以用开源大数据产品接入OSS的归档数据。
为什么需要冷热分离？在数据库使用过程中，每天有大量的数据写入和更新。通常只有时间邻近的，如一个月内，甚至一周内的数据才会被频繁更新和访问。而剩下的大量数据，都默默躺在磁盘的角落中，给存储空间带来了极大的浪费，也增加了数据库维护的成本。我们将前者中提到的频繁访问数据称为热数据，后者则称为冷数据。通过对多位大型政企客户的走访和交流，我们感受到了开发者们对于冷热分离存储的迫切需求。
何谓冷热分离？从字面意义上来理解，就是将热数据保留在高性能的存储设备中，用于应对日常频繁的写入与更新，满足用户对事务型数据处理的需要；冷数据则被迁移到低成本的存储设备里（这一过程也被称为归档），减轻热数据的维护压力，提供查询和局部订正的功能。虽然不被频繁访问，冷数据却是十分具有价值的。它记录着用户的历史数据，例如电商的历史订单、银行系统的历史交易记录等。这些访问需求对个人用户来说是低频的，但放到整个电商用户群体，或是银行用户群体中，则是一份不小的workload。冷数据的分析处理能给用户带来很多商业上的insight，帮助用户做出决策。因此还需要支持在线分析型数据处理的能力。跨越冷热数据的Join（连接）、Aggregation（聚合）是开发者们经常使用的分析手段。因此，在PolarDB-X的冷热分离存储设计中，我们兼顾了高性能的点查和分析型查询，来满足不同用户对冷数据的访问需求。
为何选择OSS?阿里云对外提供两类云存储服务：块存储与对象存储。其中块存储如ESSD等，是数据库事实上采取的存储方式，配备了RDMA网络服务和高性能SSD盘来提升访问性能；而对象存储如OSS，则利用低廉的HDD盘和标准网络，对外提供低成本、海量空间的存储服务。PolarDB-X数据库原本的存储方式采用了Paxos三副本高可用集群，格式为InnoDB行存。在冷热分离存储架构中，我们将冷数据迁移到阿里云OSS对象存储中，并采用开源列存格式ORC。阿里云的OSS对象存储服务本身保障了12个9的高可用性，因此我们采用了单副本的存储方式，这与paxos的三副本有所不同。
结合OSS单位存储的低成本，和ORC格式本身的压缩比，我们可以得到下列一组对比数据，来形成直观的感受：
| 存储方式 | ORC列存onOSS | InnoDB行存 |
|---|---|---|
| 存储单价 |
0.024元/GB/月（本地冗余）
0.15元/GB/月（同城冗余） |
0.72元/GB/月（物理机SSD） |
| 副本数 | 1（底层多副本对用户透明） | 3（Paxos三副本） |
| 压缩比 | 0.20x（实测lineitemSF=100占用空间15.6GB） | 1.55x（实测lineitemSF=50占用空间61GB） |
优势特性TTL（time-to-live）如何将冷数据从InnoDB行存中剥离出来？这是一个令很多开发者头疼的问题。如果使用deletefrom语句+where条件的形式来删除冷数据，很可能会因为扫描行数太多、数据太过分散，而造成锁表，影响整个数据库实例的访问；如果提前按照时间进行分区，再逐个将旧时间分区drop掉，则许多不适合按照时间分区的表将会束手无策。针对用户反馈的这一实际问题，PolarDB-X引入了TTL(time-to-live)这一新特性来帮助用户完成冷热数据剥离。用户无需
俗话说，天下大势，合久必分、分久必合。 数据库领域同样如此。 过去五十余年，数据库经历OLTP和OLAP两种需求漫长的融合-分离-再融合的过程。 究其原因，数据库的发展始终与用户场景需求变迁紧密相关。 如今，随着云计算和大数据的兴起，业务场景正在经历前所未有的变革，数据库领域也掀起了一股HTAP浪潮。 Gartner在多次报告中强调，HTAP是数据库领域最重要的发展趋势之一，也是用户数字化转型中重要的数据平台。 业界甚至认为，HTAP的兴起代表着数据库大融合时代的开启。 那么，为什么数据库大厂和云服务巨头们均纷纷押宝HTAP？开源+多云为何是HTAP普及的助推剂？面对新一代HTAP数据的崛起，多年积累形成的MySQL生态终于找到最佳归宿？ 放在几年前，HTAP可能还会被认为是数据库领域的小众产品，是否成气候还有待观察。 而随着数据资源、数据消费习惯和数据驱动型场景发生巨大变化，用户需求与传统数据库之间的供需矛盾日渐突出，使得HTAP这种具备“同时支持OLTP和OLAP、创新计算存储框架、去ETL”等特征的新时代数据库成为不可阻挡的趋势。 如今，几乎所有数据库大厂和云服务巨头都在布局HTAP。 例如，OceanBase去年推出的 3.0版本中就正式宣布向HTAP数据库进军；今年5月，Google Cloud发布HTAP云端数据库AlloyDB，为PG用户提供了HTAP数据库服务；再加上Oracle MySQL Heatwave，甚至连SnowFlake也发布Unistore来“蹭”HTAP的热点。 如果细数近一年以来的HTAP新品，会发现几乎全部都建立在云端之上。 新一代HTAP+云正在成为数据库市场重要的潮流。 例如，PingCAP近日发布的TiDB 6.0，也是与云端紧密联系的新一代HTAP数据库。 事实上，PingCAP是HTAP数据库领域非常重要的一个引领者。 早在TiDB 3.0起，PingCAP就正式转向HTAP，从OLTP主引擎+OLAP辅助能力，到OLTP引擎+外接分析引擎，再到OLTP引擎+融合分析引擎，PingCAP在HTAP领域稳打稳扎，一个版本上一个台阶。 如今，随着TiDB 6.0的发布，针对HTAP进行了更多成熟性改进，TPC-C 性能也较 5.0 版本提升达到 76.32%，TiDB 6.0还增强了多个企业级特性，以更好适合云时代用户对于HTAP数据库的需求。 固然，有人质疑当前HTAP是新瓶装旧酒，并无太多新意。 但业界普遍形成共识：新一代HTAP与过去完全不同，开源+云孕育而出，很多都有AI加持，而且是为数据敏捷而生，拥有过去前所未有的创新活力与迭代速度，并逐渐形成数据库技术变革的新潮流。 PingCAP CTO 黄东旭也直言：“TiDB近年来的快速进化与迭代，得益于开源和云的助力。 ” HTAP之所受到用户青睐，某种程度是因为用户对于数据敏捷性的极度渴求。 “在数字化时代，客户最为在乎的是如何快速走向市场。 这需要数据敏捷性，而HTAP恰恰是数据敏捷的核心能力。 ”黄东旭如是说。 最近几年，“海量、实时、在线”的需求越来越广泛，大量采用 MySQL 和 PostgreSQL 开源数据库的新一代企业需要提升对于热数据的实时在线分析能力，这类需求遍布几乎所有的互联网企业以及从事线上业务的数字化转型企业。 对于新鲜数据的实时分析能力直接决定了这些业务的生死存亡，传统的 OLTP+OLAP+ETL 的数据架构已经严重阻碍了消费者体验，这种诉求催生了 HTAP 的技术变革。 而真正帮助HTAP与用户需求完成对接的则是开源+云。 众所周知，开源近年来在数据库领域的流行和影响力与日俱增，DB-Engines数据显示，全球383款数据库中开源数据库占据51.7%，六款开源数据库进入到前十，开源正在成为像HTAP这种新时代数据库的创新源泉。 以PingCAP的TiDB为例，其产品研发体系建立在开源体系和开源社区的基础上，实现了一年一个大版本、一个月一个小版本的迭代速度。 黄东旭透露道：“开源是TiDB的第一个增长引擎，通过开源体系，开发者、贡献者、布道者和用户能够很好串联起来，形成飞轮效应，让产品能够走向加速迭代和创新的正向循环。 ” 据悉，TiDB每年会有超过 40% 的代码更新，而这些代码有很大一部分由外部贡献者所共享。 TiDB开源项目一直在全球和中国开源项目活跃度中名列前茅。 如果说开源改变了HTAP产品的开发模式和迭代速度，那么云则能够为HTAP产品提供用户最为直接的需求反馈。 众所周知，云数据库一改以往传统数据库部署、运维、扩展等难题，以云服务的方式让数据库使用更加简单；更加关键的是，随着云计算的普及，云上用户群体持续增加，来自云上用户群体的需求反馈无时无刻都在发生，对于数据库产品的进化与迭代至关重要。 “真正的产品迭代是如何缩短用户问题/需求的反馈时间。 云无疑为数据库等基础软件提供了这样的价值，让产品可以更好地迭代。 ”黄东旭如是说。 以TiDB为例，自去年五月全托管的数据库即服务（DBaaS）产品 TiDB Cloud 公测版发布以来，已经陆续登陆亚马逊云 科技 、谷歌云等全球知名云服务商的Marketplace，并在今年5月份正式全球商用；今年 6 月与阿里云合作上线阿里云云市场，成为为数不多的跨全球三朵云的数据库服务。 在众多数据库产品之中，MySQL凭借着开源、免费、适合互联网场景等优势，常年位居全球最受欢迎数据库的前三。 根据Slintel网站的统计数据，在全球关系型数据库市场中，MySQL市场份额最高，达到43.04%。 过去二十年里，开源MySQL数据库对于各行各业影响至深，捕获了来自互联网、金融、零售、交通等多个行业用户的心，堪称“万人迷”。 例如，在中国就有超过9成的金融机构都应用了MySQL数据库。 但任何数据库潮流都是“需求变化+技术变革+架构创新”融合的产物，MySQL是如此，HTAP亦不例外。 如今，场景的数据规模、业务并发量、处理速度要求跟以往相比早已不是一个数量级。 此时，MySQL数据库的局限性愈发突出，扩展性很难满足用户需求，想继续获得增长的企业不得不使用分库分表方案，但这又会造成数据架构的复杂性。 新一代HTAP数据库无需分库分表，且具备实时海量规模的OLTP和实时数据分析能力，还拥有极为出色的扩展性，与很多业务场景的海量交易实时数据展现、平稳运行的需求高度契合，HTAP凭借技术架构优势崛起已成必然。 “用户需求侧最大的变化就是很多用户需要借助热数据实现运营级别的实时分析，获得实时洞察以支持决策，这极大推动了新一代HTAP数据库的需求。 ”PingCAP副总裁刘松补充道。 虽然MySQL已经增加列存引擎Heatwave来获得HTAP能力，但主要解决规模化查询的问题，系统本身架构并未产生革命性变化，扩展能力、OLTP吞吐量依然有着很大局限。 “智能新能源 汽车 跟传统燃油车在外表看几乎没区别。 数据库也类似，像TiDB这种新一代HTAP数据库，从架构设计、应对场景和使用体验等角度，都与传统数据库有着极大的区别。 ”刘松形象比喻道。 事实上，与过去SAP HANA这种小众、昂贵的HTAP不同，新一代HTAP拥有极强的兼容性，像Google Cloud、PingCAP这些数据库厂商都借助新一代HTAP架构为采用 MySQL或者PG开源数据库的企业拓展 OLTP和OLAP的能力范围。 例如，Google Cloud发布的HTAP云端数据库AlloyDB，为单机版PG生态用户提供了最好选择，TiDB则成为MySQL生态的最佳归宿。 PingCAP大量用户中有很多TiDB与MySQL混合部署的成功案例；得益于 TiDB 的开放性，TiDB 也可通过和其他数据服务产品“混搭”形成新的数据服务解决方案， 如通过同样是开源的大数据计算引擎 Flink 混搭形成实时数仓解决方案，扩展 HTAP 数据库的能力边界。 黄东旭则直言，HTAP数据库除了产品、技术之外，尤为需要关心用户体验，“HTAP应该让用户觉得好用，屏蔽掉数据库的复杂性。 ”据悉，PingCAP是2022 Gartner Peer Insights“Voice of the Customer” 云数据库领域唯一入选的中国数据库公司，客户总体评分达到 4.7 分（满分 5 分），在所有入选企业中位列第一。 在参与Gartner Peer Insights评分的PingCAP用户中，像互联网、金融等重点行业用户均高度认可HTAP现代数据库理念。 总体来看，今年是HTAP的大年，各大厂商纷纷在市场中上新。 随着新一代HTAP数据库产品的增多，整个市场对于HTAP数据库理念和产品的接受与采用将会提速。 而随着新一代HTAP数据库持续完善，让广大MySQL生态用户群真正看到了大数据时代一条绝佳的迁移路径。
全球大数据发展的新动向与新趋势目前，伴随移动互联网、智能硬件和物联网的快速普及，全球数据总量呈现指数级增长态势，与此同时，机器学习等先进的数据分析技术创新也日趋活跃，使得大数据隐含的价值得以更大程度的显现，一个更加注重数据价值的新时代正悄然来临。 瑞士洛桑国际管理学院2017年度《世界数字竞争力排名》显示，各国数字竞争力与其整体竞争力呈现出高度一致的态势，即数字竞争力强的国家整体竞争力也很强，同时也更容易产生颠覆性创新。 实际上，以美国、英国、韩国和日本等为代表的发达国家一向重视大数据在促进经济发展和社会变革、提升国家整体竞争力等方面的重要作用，当前更是把大数据视为重要的战略资源，大力抢抓大数据技术与产业发展先发优势，积极捍卫本国数据主权，力争在数字经济时代占得先机。 我们从各国发展大数据的新举措中或许可以窥探到大数据发展的新趋势。 美国：稳步实施“三步走”战略 打造面向未来的大数据创新生态美国是率先将大数据从商业概念上升至国家战略的国家，通过稳步实施“三步走”战略，在大数据技术研发、商业应用以及保障国家安全等方面已全面构筑起全球领先优势。 第一步快速部署大数据核心技术研究，并在部分领域积极开发大数据应用。 2012年白宫科技政策办公室发布《大数据研究发展倡议》，以提升从海量和复杂数据中获取知识、挖掘价值的能力，进而推动科学与工程领域创新步伐加速。 第二步调整政策框架与法律规章，积极应对大数据发展带来的隐私保护等问题。 2014年美国发布《大数据：把握机遇，守护价值》白皮书，再次重申要把握大数据可为经济社会发展带来创新动力的重大机遇，同时也要高度警惕大数据应用所带来的隐私、公平等问题，以积极、务实的态度深刻剖析可能面临的治理挑战。 第三步强化数据驱动的体系和能力建设，为提升国家整体竞争力提供长远保障。 2016年美国发布《联邦大数据研发战略计划》，形成涵盖技术研发、数据可信度、基础设施、数据开放与共享、隐私安全与伦理、人才培养以及多主体协同等七个维度的系统的顶层设计，打造面向未来的大数据创新生态。 特朗普就任美国总统后，对大数据应用及其产业发展持续关注，并督促相关部门实施大数据重大项目，构建并开放高质量数据库，强化5G、物联网和高速宽带互联网等大数据基础设施，促进数字贸易和跨境数据流动等。 2017年4月美国能源部与退伍军人事务部联合发起“百万退伍军人项目（MVP）”，希望借助机器学习技术分析海量数据，以改善退伍军人健康状况。 2017年9月医疗保健研究与质量局发布美国首个可公开使用的数据库，其中包括全美600多个卫生系统。 白宫科技政策办公室一直积极与他国展开合作，以预防数字经济监管障碍、促进信息流动和反对数字本地化等。 英国：紧抓大数据产业机遇 应对脱欧后的经济挑战大数据发展初期，英国在借鉴美国经验和做法的基础上，充分结合本国特点和需求，加大大数据研发投入、强化顶层设计，聚焦部分应用领域进行重点突破。 近期英国特别重视大数据对经济增长的拉动作用，密集发布《数字战略2017》《工业战略：建设适应未来的英国》等，希望到2025年数字经济对本国经济总量的贡献值可达2000亿英镑，积极应对脱欧可能带来的经济增速放缓的挑战。 2012年，英国便将大数据作为八大前瞻性技术领域之首，一次性投入1.89亿英镑用于相关科研与创新，在八大领域投入总额中占比高达38.6%，远超其余七个领域。 随后，英国将全方位构建数据能力上升为国家战略，于2013年发布《把握数据带来的机遇：英国数据能力战略规划》，提出人力资本（研发人才与善于运用数据的民众）、基础设施和软硬件开发能力，以及丰富开放的数据资产是发展大数据的核心，事关能否在未来竞争中占据领先优势。 该战略同时提出了11项具体行动部署，短短两三年便释放出巨大的数字潜力。 从2010年至2015年，数字经济对英国经济增加值的贡献增长了21.7%，超过了同期经济增加值增长率的17.4%，2015年数字经济规模为1180亿英镑，在经济增加值中的占比超过了7%，其中数字商品和服务出口总值超过500亿英镑。 为从数据中挖掘出更大的价值，创造并维护一个能够保持更多收益和增长的经济体系，同时让全社会都能从中收益，英国政府在2017年3月提出了新时期发展数字经济的顶层设计《数字战略2017》。 新战略中提出七大目标及相应举措，特别是对各个目标都提出了更高标准的要求。 一是打造世界一流的数字基础设施，二是使每个人都能获得所需的数字技能，三是成为最适合数字企业创业和成长的国家，四是推动每一个企业顺利实现数字化智能化转型，五是拥有最安全的网络安全环境，六是塑造平台型政府，为公众提供最优质的数字公共服务，七是充分释放各类数据的潜能的同时解决好隐私和伦理等问题。 2017年11月，英国面向全社会发布《工业战略：建设适应未来的英国》白皮书，强调英国应积极应对人工智能和大数据、绿色增长、老龄化社会以及未来移动性等四大挑战，呼吁各方紧密合作，促进新技术研发与应用，以确保英国始终走在未来发展前沿，实现本轮技术变革的经济和社会效益最大化。 为此，2018年4月底英国专门发布《工业战略：人工智能》报告，立足引领全球人工智能和大数据发展，从鼓励创新、培养和集聚人才、升级基础设施、优化营商环境以及促进区域均衡发展等五大维度提出一系列实实在在的举措。 韩国：以大数据等技术为核心应对第四次工业革命多年来，韩国的智能终端普及率以及移动互联网接入速度一直位居世界前列，这使得其数据产出量也达到了世界先进水平。 为充分利用这一天然优势，韩国很早就制定了大数据发展战略，并力促大数据担当经济增长的引擎。 2016年年底，韩国发布以大数据等技术为基础的《智能信息社会中长期综合对策》，以积极应对第四次工业革命的挑战。 2013年12月，韩国多部门便联合发布“大数据产业发展战略”，将发展重点集中在大数据基础设施建设和大数据市场创造上。 2015年年初，韩国给出全球进入大数据2.0时代的重大判断，大数据技术日趋精细、专业服务日益多样，数据收益化和创新商业模式是未来大数据的主要发展趋势。 基于此，在同年发布的《K-ICT》战略中，韩国将大数据产业定义为九大战略性产业之一，目标是到2019年使韩国跻身世界大数据三大强国。 韩国还非常注重对他国经验的借鉴，2015年5月中国发布《大数据发展调查报告》后，韩国专门对中国与韩国大数据应用情况进行了比较分析，并聚焦韩国大数据应用水平与大数据市场不协调的问题，提出了一系列新举措。 近两年全球第四次工业革命浪潮的到来，倒逼韩国重新审视本国智能制造和信息技术的发展，并于2016年年底提出《智能信息社会中长期综合对策》，将大数据及其相关技术界定为智能信息社会的核心要素，并提出具体的发展目标与举措。 一是充分挖掘数据资源价值，强化未来竞争力源头。 构筑开放共享的大规模数据基础设施，到2025年实现320个公共机构的数据开放；促进数据流通和使用，激活数据交易市场，推动公共和民间数据实现以价值为导向的交易；激活数据分析企业，到2020年数据专业服务企业规模达到100家；培养大数据专业人才，将每年培养的数据科学家数量从2017年的500名增长到2030年的1000名；发展区块链技术，提高数据管理可靠性等。 二是筑牢大数据技术基础。 加强数学方法论研究，长期稳定支持新型学习推断、量子计算、神经形态芯片等下一代计算技术研究，推动科研大数据开放共享，推进产业数据中心建设，强化产学研合作共同研发产业共性技术等。 三是面向数据服务需求，构筑超连接网络环境。 确保频率资源供应，有序推进5G商用化进程，实现大规模机器间通信，实现不同业务网络之间的实时超连接；推动通信运营商体系优化，摒除后发企业进入运营行业的壁垒；进一步强化物联网和云计算基础设施并充分利用智能传感器数据；分阶段引进量子通信与安全网络等。 大数据发展新趋势综合以上几个典型国家的新动向和新举措，可以发现当前及未来全球大数据发展的新趋势。 一是大数据与人工智能、云计算、物联网、区块链等技术日益融合，成为各国抢抓未来发展机遇的战略性技术。 英国在工业战略中强调大数据与人工智能的发展，很有可能推动现有的商品和服务市场被颠覆和取代。 日本将大数据、物联网和人工智能界定为建设超智能社会服务平台必不可少的共性技术。 韩国与日本相似，将智能信息化社会定义为“ICBM（物联网、云服务、大数据和手机）与AI（人工智能）相融合的社会”。 二是大数据资源对各国经济政治博弈的重要性更加凸显。 美国最新版国家安全战略中，特朗普再次将“数据”比喻为一种能源，他认为掌握了数据及相关能力，就是为美国经济的持续增长、有效抵制敌对意识形态以及部署建设最强大军事力量等构建了最基础的保障。 最近的“脸书危机”事件，再加上近年来“剑桥分析”及其母公司“战略通讯实验室”参与多国领导人选举活动事件，使得大数据资源及相关技术成为某些国家利益集团及企业影响政治生态和社会安全的重要手段，各国政治社会发展面临的风险变得更加复杂和不可预测。 三是大数据应用基础条件发生跨越式变化。 一方面政府数据开放的广度和深度将进一步拓宽，多源数据融合技术的进步，为公共服务数字化与智能化水平的提升提供了技术层面的保障，数据的标准化及开放则成为各国建设服务型政府和平台型政府的资源保障。 另一方面大数据应用的基础设施将成为与水电气暖等相类似的设施，成为人们生活中必不可少的部分。 这其中包括物联网、智能硬件等数据采集类设施，5G、光通信等超高速数据传输类设施，以及超级计算机、云计算以及边缘计算等计算类设施，以及新型的存储设施等等。 四是大数据安全为各国实现“平衡”发展带来更严峻的挑战。 各国大数据发展战略中，不同国家和地区对“数据开放共享”与“个人信息保护”的侧重点不同，比如欧盟希望通过强制性的统一标准最大限度的保护个人隐私，而美国则更相对弱化法律约束、希望充分调动企业的主动性，这种态势对未来全球大数据国际规则的融合发展提出了新难题。 同时对大数据企业权利和义务也要进行再平衡，监管太严将限制企业创新的脚步，但如果放手太多，在实践中难免出现企业对个人隐私大规模侵害的问题。
2019年，我们将进入数字化转型的攻关期。 所谓“攻关期”即数字化转型2.0阶段，需要攻坚企业关键业务上云和数字化转型改造的课题。 在一份市场调查公司IDC的报告中指出：IDC自2014年提出数字化转型以来，看到企业在数字化转型层面已经投入了大量人力物力，但是效果并不理想，有一些企业已经成功屹立在潮头，有一些企业在向上游进发，还有一些企业只能在浪潮的挟裹中被动前行。 对于企业来说，数字化转型是“雄关漫道”。 IDC认为，目前阶段来看，企业亟待解决的是数字化能力提升，包括：与业务的深入结合能力；数据处理和挖掘能力；以及IT技术运营和管理能力。 特别是数据处理和挖掘能力，因为数字化转型推进企业从以流程为核心向以数据为核心转型，对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提，对数据全生命周期的管控治理是释放数据价值的保障。 而随着数字化转型引入大量新技术而导致IT复杂度变高，企业IT技术运营和管理能力是提升企业“IT生产力”的关键。 攻关数字化转型的“雄关漫道”，需要一个具备融合、智能、可传承三大特性的数字平台。 这是2019年3月华为与IDC联合推出的《拥抱变化，智胜未来—数字平台破局企业数字化转型》白皮书所提出的观点。 融合主要指把传统技术和创新技术相结合；智能主要指平台智能化和智能化能力输出；可传承主要指解耦、功能复用、可配置等理念打造的架构。 而承载这三大观点的，就是新一代分布式企业级技术。 2019年5月15日，华为发布了业界首款支持ARM架构的新一代智能分布式数据库GaussDB以及分布式存储FusionStorage 8.0，作为新一代数据基础设施，诠释了具备融合、智能、可传承三大特性的数字平台。 华为常务董事、ICT战略与Marketing总裁汪涛在发布会上表示，千行百业正在加速智能化进程，越来越多的企业已经意识到数据基础设施是智能化成功的关键。 华为围绕计算、存储和数据处理三个领域重定义数据基础设施，加速迈向智能时代。 今天所讨论云和工业互联网等概念的背后是一个新时代的到来，这就是体系架构大迁徙。 传统企业级技术是在单体应用和单机环境中，保证数据存储、调用等操作的高可靠、高可用、高稳定，特别是满足金融级事物处理的ACID（原子性、一致性、隔离性和耐久性）要求，为企业关键业务提供数据管理支撑。 随着企业技术向云架构迁移，数据库技术也面临转型。 2018年，基于云计算技术的分布式数据库成为了业界的热点。 简单理解，云计算技术就是把“单机”环境替换为由X86服务器机群所组成的分布式计算环境。 原先由几台小型机完成的计算任务，要分散到上百甚至上千台X86服务器上，而且还可能跨数据中心操作，挑战可想而之。 特别是在线支付等金融级业务，不能在断网或网络连接有问题时出错，也不能因响应速度慢而影响用户体验。 2018年8月，中国支付清算协会与中国信息通信研究院联合举办了“金融分布式事务数据库研讨会”，与业界厂商和用户共商核心数据库分布式转型之路，同时发布了《金融分布式事务数据库》白皮书。 金融分布式事务数据库的工作推进，为分布式数据库进入企业关键业务系统，提供了产业化支撑。 而华为作为企业ICT解决方案供应商，早在2012年就开始研发面向大数据分析的数据仓库，在基于传统关系型数据库SQL引擎和事务强一致性等基础上，进行了分布式、并行计算的改造，历时6年打造了面向PB级海量数据分析的分布式数据库。 在OLAP数据仓库之外，华为与行业用户合作了面向OLTP的分布式事务型数据库研发。 2017年，华为与招商银行合作成立了分布式数据库联合创新实验室，研发具有高性能企业级内核、完整支持分布式事物、满足金融行业对数据强一致要求、单机事物处理能力要达到每分钟百万级别等的OLTP分布式数据库。 本次发布的GaussDB数据库新品包括：联机事务处理OLTP数据库、联机分析处理OLAP数据库、事务和分析混合处理HTAP数据库。 而华为GaussDB数据库将AI技术融入数据库设计、开发、验证、调优、运维等环节，可实现基于AI的自调优、自诊断自愈、自运维，让数据库更高效、更智能，引领数据库架构的发展。 更进一步，本次发布的GaussDB系列数据库是业界首款支持ARM芯片的分布式数据库。 华为推动计算架构从以X86+GPU为主的单一计算架构到以X86+GPU+ARM64+NPU为主的异构计算架构快速发展。 基于X86架构，华为引入AI管理和智能加速能力，率先推出了智能服务器FusionServer Pro；基于ARM64打造了业界性能最强的TaiShan服务器；基于Ascend芯片的Atlas智能计算，实现了业界首个端边云协同的人工智能平台。 而GaussDB可充分利用并融合ARM、X86、GPU、NPU等多种异构算力组合，大幅提升数据库性能。 汪涛强调，作为全球首款AI-Native数据库，GaussDB有两大革命性突破：第一，首次将人工智能技术引入数据库的全生命周期流程，实现自运维、自管理、自调优和故障自诊断。 在交易、分析和混合负载场景下，基于最优化理论，首创深度强化学习自调优算法，把业界平均性能提升60%。 第二，支持异构计算，充分发挥X86/ARM/GPU/NPU多样性算力优势，最大化数据库性能，在权威标准测试集TPC-DS上，华为GaussDB排名第一。 GaussDB还支持本地部署、私有云、公有云等多种场景。 在以云计算为代表的分布式计算环境中，数据管理解决方案除了需要分布式数据库外，为了更好的扩缩容以及满足多样化数据存储需求，计算与存储分离已经成为分布式数据库设计的主要架构。 分布式云化架构，就是要支持计算、存储分离和多租户等架构设计要求。 GaussDB已经从数据库层面实现了高可用、高可靠、高稳定的分布式数据库，本次发布的FusionStorage 8.0则是分布式存储架构，创新地实现一套系统同时支持块、文件、对象、HDFS协议，1套存储支持4类存储能力，适用于全业务场景混合负载，最终让“一个数据中心一套存储”成为可能。 IDC发布的《中国软件定义存储（SDS）及超融合存储（HCI）系统市场季度跟踪报告，2018年第四季度》显示，2018年，软件定义存储市场达到了54.9%的同比增长。 软件定义存储在中国整体存储市场的占有率稳步上升，分别达到了22.1%的市场占有率。 华为凭借文件解决方案在政府、广电和电信等行业得到认可，在2018年中国软件定义存储市场排名第一。 FusionStorage 8.0采用华为ARM-based处理器鲲鹏920加速，使IOPS提升 20%，结合华为AI Fabric无损网络，时延进一步降低15%。 基于华为在计算、网络和存储领域多年的芯片和算法积累，FusionStorage 8.0在SPC-1的性能测试中，单节点性能达到了16.8万IOPS以及1ms以内时延，成为承载企业关键应用的新选择。 此外，通过华为云的云上训练及本地AI芯片，FusionStorage 8.0将智能管理贯穿业务使用的全生命周期，如业务上线前对存储资源的规划，使用过程中的风险预判及故障定位，大幅提升存储效率，帮助行业客户应对智能时代的数据新挑战。 汪涛在发布会上强调，新一代智能分布式存储FusionStorage 8.0通过重定义存储架构，从“Storage for AI”和“AI in Storage”两个维度实现效率大幅提升，引领存储智能化。 首先，“Storage for AI”通过融合共享，让AI分析更高效。 其次，“AI in Storage”率先将AI融入存储全生命周期管理，从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维。 辽宁移动就采用了华为FusionStorage。 作为辽宁省内最大的移动通信运营商，辽宁移动一直在 探索 先进的存储方案在自身IT系统的应用。 由于5G的快速发展，辽宁移动关键数据库的应用也向云化方向发展，分布式存储也要满足其可靠性和高性能要求。 华为在深入分析辽宁移动需求后，首先在边缘开发测试业务小规模试点分布式存储，进行了大量的实验和测试后性能和可靠性都达到了预期，最终决定将全部业务迁移至FusionStorage。 该方案通过采用双活、可写快照、端到端DIF等特性，顺利完成Billing、经营分析、B2B等系统从老旧存储至FusionStorage的搬迁工作，助力辽宁移动的存储架构迈入新的 历史 阶段。 值得一提的是，华为分布式数据库与华为分布式存储深度结合，把数据库的操作下沉到存储节点，极大提升了分布式数据库的性能。 利用新的网络技术和人工智能技术，华为帮助用户提升数据中心的吞吐量，提升网络应用的可伸缩性，并且能自动调优。 除了推出新一代突破性的分布式数据库和存储技术外，华为也积极与客户、伙伴在数据库与存储领域，从行业应用、平台工具、标准组织和社区等多个层面共建开放、合作、共赢的产业生态。 在行业应用层面，华为与软通智慧、神州信息、东华软件、易华录、用友政务、亚信国际等独立软件开发商长期合作；在平台和工具层面，华为与Tableau、帆软、ARM、Veritas等合作伙伴联合创新；在标准组织和社区层面，华为深度参与OpenSDS、中国人工智能产业联盟、OCP、OpenStack、CNCF基金会等组织和社区的建设。 总结来说，华为全线分布式数据库和分布式存储产品的发布，是华为具备融合、智能、可传承三大特性数字平台的最新成果。 华为分布式数据库与分布式存储结合，能消除企业各业务系统数据孤岛，构建面向行业场景的数据建模、分析和价值挖掘能力，对多源异构的数据进行汇聚、整合和分析，形成统一的全量数据和数据底座，实现数据价值挖掘和共享。 而基于AI的智能化，可对基础设施进行高效的管理，为行业应用开发和迭代赋能，全面帮助企业突破关键应用上云的“雄关漫道”。 （文/宁川）
标签： PolarDB、 成本、 阿里云OSS、本文地址： https://yihaiquanyi.com/article/4af70d3f87afd3ff7a92.html
上一篇：极光DB数据库服务的下一个飞跃极光pn...
网站首页
提交收录
收录查询
文章资讯
热门排行
软文发布
自助广告
