用友BQ:大数据不容忽视数据集成管理

一提大数据，更多受到关注的大数据的分析，因为只有将大数据进行全面分析过后，才能发现它更多价值。然而，大家忽略了这些数据的来源以及复杂程度等。应用系统越来越多，数据格式越来越复杂，这些数据在分析之前，必须解决的一个问题就是，如何将各种类型的数据进行整合，并能实时的去管理它们。

传统数据集成技术主要关注于架构和相关编程模型的ETL、ELT、CDC和EAI类型。然而，在大数据环境里，这些技术需要根据规模和处理复杂度等需求进行修改，其中包括需要处理的数据格式，需要应对的高并发量，以及需要实时的需求等。

用友BQ是集企业多系统的数据平台、分析平台、管理平台、挖掘平台于一体的全方位BI解决方案。最新技术架构体系下的用友BQ具备大数据处理与分析能力，且大大提高了数据分析的速度和效率。

用友BQ包含了数据集成平台，它涵盖了传统ETL、ELT的能力，提供了丰富的数据处理、转换功能组件，同时可集成实时数据复制、主数据管理产品(MDM)，为企业提供一个全面的数据集成处理解决方案;实时数据集成除了可集成到数据集成产品中提供实时能力之外，也可单独部署，满足企业实时数据同步、灾备等需要。用友BQ数据集成包含DI和RDI两部分。

DI产品通过图形化的开发、管理和监控界面，整个数据集成的抽取、转换、加工整合过程只要通过简单的拖拽就可以实现。数据集成应用开发采用过程流式的组织方式，分为作业和转换两个层次。其中作业支持嵌套，从而实现可自顶向下、逐步细化的开发设计。产品支持各种平台和广泛的数据源，提供了丰富的数据转换功能组件，最大程度的简化数据集成应用开发。产品服务端基于UAP平台的基础运行框架，提供作业的集群执行、运行调度、日志监控及性能分析等功能。DI产品主要包括客户端设计器和服务端的运行和管理工具。

RDI，基于数据库日志分析技术，可满足数据集成的实时性要求。两者可根据需要集成应用。产品支持Webservice，可提供企业ODS、数据仓库、企业数据总线等应用需求解决方案。RDI基于日志分析和消息中间件技术，内部具有高缓存，高并发的架构，实现了高性能的增量式实时数据集成和灵活的部署模型。RDI能够提供面向数据仓库的高效数据加载以及异构系统间数据实时同步。

RDI 基本原理

用友BQ数据集成产品提供了图形化的开发、管理和监控界面，使得使用人员通过简单的培训即可完成需要高级技术人员通过编程完成的功能，整个抽取、转换、加工整合基本上通过简单的拖拽就可以实现。对于数据集成用户，尽量避免大量重复、繁琐的编码。使数据集成人员的工作重点回归对业务需求的关注。

用友BQ数据集成图形化、拖拽式，简单、易操作

第一，自顶向下、逐步细化的设计开发过程。数据集成中间件作业设计包含转换和作业两个核心对象，转换实现数据加载、计算、清洗、转移等功能，作业是把转换或者作业作为一个过程流中的一个节点来看待，实现了更加复杂的数据处理。一个典型的数据集成过程，可分为作业和转换两层，其中作业可以嵌套作业。从而实现自顶向下、逐步细化的设计开发过程。在上面的维度处理作业中又嵌套了一个产品维度处理作业，可进一步细化为下面的具体实现。

第二，丰富的数据转换控件。用友BQ数据集成产品包含了11类60多个数据转换控件。涵盖拆分字段、字段选择、增加常量、排序纪录、过滤纪录、去除重复纪录、是否为null、行列转置、分组等等。同时，对于新出现的特殊转换，支持用户自定义开发个性化的转换控件，放入数据集成产品，实现即插即用的功能。无论是转换还是作业，每个图形化控件都提供了完善参数支持，提高了设计人员的效率和灵活性。把设计开发人员从大量繁琐的编码和调试工作中解脱出来，使设计开发人员回归架构与业务逻辑。

第三，支持java script内嵌脚本和存储过程等数据库对象。数据集成产品支持内嵌脚本语言、存储过程来处理复杂的集成处理。支持java script内嵌脚本语言，提高了常用的字符串验证、日期格式转换等常用函数，可将复杂的业务处理通过编写java script实现。支持数据库的存储过程。

第四，支持各种常见的数据源。数据集成产品基于jee技术实现，具备了跨平台性，能够运行在各种常见操作系统之上。数据集成产品支持各种数据源，包括各种关系数据库、xml数据、以及各种结构化数据和非结构化数据。支持常见的数据库，如Oracle、DB2、SQL Server、mysql等主流数据库，同时为方便用户各种电子文件数据整合，还支持txt、csv、xls、zip、xml文件作为输入或输出，这为提取多数据源数据提供了完备的保障。

第五，企业级高性能、高可用能力。产品服务端基于用友UAP平台的基础运行框架，提供作业的集群执行、运行调度、日志监控及性能分析等功能。