数据集成

浪潮数据集成平台实现多源异构数据源之间数据快速交换；全web界面可视化操作，降低数据集成开发难度；基于微服务架构设计开发，独立部署，可重用，高可靠；预置丰富的数据处理组件，实现快速集成开发。数据集成为企业提供实时、准确的数据加工处理，支撑企业实现更敏捷的业务创新。

一、产品概述

浪潮数据集成普通是集数据抽取、转换、清洗、脱敏、加载等功能于一体的一站式数据处理平台，平台通过可视化的拖、拉、拽即可完成数据集成流程的构建，可以在多个业务系统之间实现复杂的数据分发以及推送，同时也支持跨企业的数据传输与共享发布，协助企业快速构建数据中台。内嵌数据质量检核作业，实时保证数据处理的准确性。

二、产品特性

◈ 采集能力

具备从多源异构数据源采集的能力，支持全量采集和增量采集，可支持的数据源类型包括：

· 关系型数据源：包括Oracle、MySQL、SQL Server、PostgreSQL、GreenPlum、Sybase、DB2、GBase、MariaDB等国外主流的关系型数据库，以及人大金仓、神舟通用、翰高、达梦等国内主流的关系数据库。

· NoSQL数据源：HBase、Hive、influxDB、OpenTSDB、TiDB等非关系型数据库。

· 文本数据源：Excel、txt、CSV、XML、json等。

· 其他数据源：支持程序数据源等。

◈ 建模能力

支持一对一、一对多、多对一的组合关联；

支持跨数据源的组合关联；

支持二次开发自定义扩展。

◈ 清洗&质量检测能力

预置了十几种质量规则，包括：空值规则、值域规则、重复数据规则、格式规范规则、数据关联性规则、值长度规则、数目规则、字段类型规则、主键规则、逻辑一致性规则、阈值规则等。根据质量规则针对数据质量问题（数据的完整性、数据的唯一性、数据的权威性、数据的合法性、数据的一致性），进行自动清洗，得到标准的、干净的、连续的数据，提供给数据统计、数据挖掘等使用。

◈ 数据血缘分析

自动形成数据血缘关系，全面揭示数据的来龙去脉。

◈ 数据实时交换与共享

支持以低干扰、高灵活性的数据抽取和复制方式、转换可定制方式，实现数据集中分发。

三、应用价值

◈ 实现数据融合，提升数据质量

实现多源异构数据源数据融合，数据对接即清洗，数据即传即用。

◈ 服务数据仓库建设

支撑按业务主题提取分析模型进行数据抽取，助力数据仓库的建设。

◈ 供应挖掘原料，实现业务创新应用

通过数据采集清洗，一方面解决数据质量问题，另一方面也让数据更适合做挖掘。深度洞察数据，挖掘数据背后的利用价值，实现数据和业务的创新应用。