数据数字化校园数据清洗与整合平台建设方案

数字化校园数据清洗与整合平台建设方案

1.1.1.平台概述

数据清洗与整合平台实现共享数据中心的数据采集与分发提供对被交换信息进行清洗、转换、装载入库等数据交换服务即清理脏数据完成对数据的整理确保数据一致性、完整性和正确性。

各业务系统通过清洗与整合系统与共享数据中心平台进行数据交换与共享各业务系统独立运行互不影响某一业务系统故

障不会造成对其

它系统的影响。

工貝

4(IE>

(NotfliG»pB]l

图数据清洗与整合平台DCI

1.1.2.平台功能

共享数据中心库的数据来源目前来说主要是由国标即基础代码表的数据和从已有的应用系统中集成过来这个过程就是数据DCI过程。已有的应用系统的数据是不符合数据规范的DCI过程就是实现从不规范的数据源内通过整合转化成规范的数据保证数据的准确。 DCI是数据集成并保证“一数一源”重要手段。通过DCI可以方便、快捷地实现数据源到中心数据库的DCI过程。

1.支持主流的各种数据库 包括Oracle系列、 SQLServer系

列、DB2 MySQL等,同时支持Excel文件数据访问

2.方便的图形化流程操作几乎不需要编写复杂的

SQL。

通过拖动和连线的方式就可以定义DCI任务不需要复杂

的编程和配置

3.强大的任务定义能力。我们可以为每一个DCI任务定义不

同的任务类型更为重要的是我们可以自由地设定任务的

运行时间和周期

4.准确的数据变化感知。无论源数据发生了什么变化

包括插入新数据、更新旧数据、删除数据等都可以被-DCI所感知并在目标库中做出相应的变化实现准确的数据同步

5.灵活的数据映射。对于简单的值映射可以直接通过简单设置即可如想将性别字段值0和1映射成目标值A和B,可进行简便操作

6.对于复杂的数据编程 -DCI提供了JavaS cript语言可以实现更为强大的编程逻辑和功能

7.强大的数据库管理能力。 -DCI提供了对数据库更为复杂的操作包括去除重复的记录、 自动流水号生成、记录的连接、记录的过滤等这些所有的操作均可通

过简单的配置实现而不需要编写复杂的 SQL语句