近期，ucloud优刻得UDTS在数据传输的基础上，上线了数据集成服务，可成功多个数据源兼并，买通数据孤岛以取得数据的一致视图，繁难业务启动数据剖析决策;助力企业灵敏调整业务架构，优化现有的数据库服务;极速成功分库分表兼并、自定义抵触处置战略、繁难业务构建数据看板。

背景

出于不同业务的数据存储和运行需求不同，企业理论会将不同业务发生的数据区分存储在独立的数据库中。随着业务架构的始终调整，以及受开发环节的影响，原先离开存储的数据库逐渐暴显露一些疑问：

数据扩散在不同的数据库实例上，构成独立的数据孤岛，难以成功数据的聚合剖析。传统的经过MySQL主从相关同步数据的形式，在MySQL5.7版本之前不可建设多对一的增量同步相关。MySQL5.7版本只管推出了多源复制性能，但性能繁多，不可启动不同库表间的映射，且性能环节复杂，当源数量较多时容易出错。

数据库分库分表之后存在多个数据库实例，难以再兼并到一致的库表中。传统的数据库迁徙工具不可处置兼并环节中发生的数据抵触疑问。

数据量越来越大，在不影响业务的前提下很难调整数据库架构。在线修正字段类型或许字段名，要么受限于数据库性能，要么或许给业务带来较大影响而难以调整。

UCloud优刻得一站式数据集成处置打算多源数据聚合

针对数据库扩散，难以聚合的疑问。UCloud优刻得UDTS推出数据集成服务，可轻松协助用户成功多源聚合。单个义务可允许多达10个数据源聚合，同时可允许不同类型网络环境下的数据源，包含外网、内网以及专线。

举例:假定如今有两个数据源，区分是10.10.10.100:3306和10.10.10.120:3306，聚合形式如下图所示：

思考到大少数据源都承载着在线业务，为了防止多源聚合对线上业务的影响，UCloud优刻得UDTS数据集成服务还允许针对每个数据源独立限速。

数据库合库合表

数据库合库合表理论存在以下难点:

数据库实例扩散

数据或许存在抵触

对不同的数据库须要不同的数据抵触处置方法

针对以上这些疑问，UCloud优刻得UDTS数据集成服务在多源聚合的基础上，提供以下形式处置：

1.自定义基础数据

关于每个数据源，都可指定能否保管指标库的原数据，假设选用是，在导入数据表时，会保管原有数据库表定义及数据。

而假设选用了不保管数据，则在导入数据时，会依据映射规定先清算对应的表及其数据。

2.智能处置数据抵触

在创立义务时可对每个数据源独立定义数据抵触处置战略，在数据集成时，可依据自己的数据抵触处置战略来处置抵触数据。以后提供保管与交流两种战略。

保管:当数据出现抵触时，保管指标库中的原数据，而摈弃以后数据。

当经常使用保管规定时，导入数据经常使用INSERTIGNOREINTO,比如INSERTIGNOREINTOTableVALUES(1,"name",18)，当有反双数据时，保管原有的数据，新拔出的数据会被疏忽。

交流:当出现数据抵触时，经常使用新的数据交流指标库边疆来的数据。

当经常使用交流规定时，导入数据经常使用REPLACEINTO，比如REPLACEINTOtableVALUES(1,"name",18)，老的数据将会被新数据笼罩，集成义务中有多个子义务(多个源往同一个指标数据库同步)时，须要留意顺序。

数据库架构调整

在开发的环节中，不免会遇到数据库改名、表变卦等疑问，但等到数据库架构要调整的时刻，才发现累积了一堆陈年旧债。经过UCloud优刻得UDTS数据集成服务的全量+增量，不只可以将全量数据按映射规定迁徙到指标库中，还可灵活成功增量数据的库表称号的映射。

防止用户对数据源锁库锁表的担心，UCloud优刻得UDTS数据集成服务还提供了NoLock形式，在此形式下数据集成服务运转的环节中不会对源库表启动任何的锁操作。

数据集成服务案例1、数据脱敏

某教育企业，经常使用UCloud优刻得UDTS数据集成服务，将数据脱敏处置后，再交由外部其它部⻔启动数据剖析，提取数据的有效价值。既防止了敏感数据走漏危险，又协助企业更快、更精准的决策。

2、数据兼并

某金融企业经常使用UCloud优刻得UDTS数据集成服务，将前期拆分后的数据库兼并，繁难启动后续的业务开发和剖析。

3、架构调整

某交友软件为了顺应新的架构，经过UCloud优刻得UDTS数据集成服务对数据库db和table启动了从新调整，顺应了新的环境。

架构的调整不只仅是对现有数据库的改名，还依赖于存量数据的变卦、增量数据的同步、业务的回滚等。

总结

总的来说，UCloud优刻得UDTS数据集成服务带给企业的价值重要体如今以下三个方面：

多源数据聚合，数据兼并，构建BI数据看板，提取数据价值；

同构数据整合，智能处置数据抵触。

数据库架构在线调整，优化业务全体性能。

UCloud优刻得UDTS数据集成服务目前正在收费公测期，欢迎前往控制台开启体验～

标签： 优刻得UDTS数据集成服务助企业剖析决策、

本文地址： https://yihaiquanyi.com/article/4212960b900d070d30b1.html

上一篇：转转812转转获得39亿美元融资将加强二手交...
下一篇：许家印恒大集团是干什么的许家印恒大新动力...