400-893-5552

主数据实施案例分享

 
2017-04-01 15:48:59所属分类:行业动态

主数据是指像产品、客户、供应商、物料代码、BOM等被多个业务系统共享使用的静态数据。而主数据管理是描述了一组规程、技术和解决方案来管理主数据的创建,维护和使用流程,并确保主数据的完整性和一致性。 从这个定义可以看出,主数据有两个重点,其一是静态基础数据,其二是跨多系统共享数据。

\

在这里重点谈某通讯企业主数据的实施过程,该企业计划开发主数据平台和实施供应商主数据。

在实施过程中MDM主数据平台采用远行科技自主研发的产品,该主数据平台架构能完全满足数据采集分发、查询稽核、统计分析等基础要求。具体如下:

a.数据采集和集成:远行基于淘宝开源DataX进行二次开发和封装的独立ETL子产品。

远行的主数据管理平台从最基础的ETL和流程引擎到实现完整的主数据管理和数据服务能力共享,通过平台的功能从元数据创建到数据对象生成再到数据采集,再到服务的自动发布,这些过程都变得非常简单,只需在系统上配置一些参数即可完成。

对于数据分发,在项目实施过程中主要考虑了两种形式:

a. 基于服务的分发数据

通过查询或者导入服务来完成新增或修改数据的分发,查询服务分发较简单,但是在数据分发及时性方面比导入服务分发差,只能通过数据消费方系统增加服务消费调度的频率来保证数据的实时性。

查询服务分发较简单,对于MDM只需构建一个查询服务,并且MDM平台本身支持数据对象属性和服务输入输出的自动映射,查询服务的自动化发布,因此对于数据实时性要求不是很高的场景,我们建议采用查询分发;通过导入服务分发不需要数据消费方系统再去写调度,MDM通过事件触发将增量数据直接导入消费方系统,保证了数据的实时性。

b.基于JMS等消息中间件的分发

即数据采集完成后将增量数据发送到消息中间件,数据消费方系统再通过消息中间件获取消息解析成数据。这种方式有个弊端,把消息分发和接收的过程隔离开了,在分发数据的完整性监控方面弱于第一种方式。

以上两种数据分发方式其实都可以通过SOA套件来完成,因此MDM和SOA其实关系非常紧密,对于SOA首先是需要MDM提供基础能力,具体包括

1) SOA需要MDM提供主数据单一统一视图,减少频繁服务开发和交互;

2)SOA数据服务能力提供需要更多借助MDM;

3)SOA业务组合服务能力提供需要更多借助MDM;

4)SOA本身不是数据存储平台,自然很难进行数据合并,匹配和清洗等;

5)没有MDM前原有业务系统和SOA平台很难提供统一数据创建和申请流程。

同时可以看到MDM主数据平台也需要SOA提供的集成能力

1)MDM可以通过SOA很方便的收集来自各业务系统的数据;

2)MDM的数据分发需要借助SOA平台以达到集中分发;

3)MDM通过SOA获取更好的敏捷性(将MDM系统服务分解成为一组松耦合且符合 SOA规范的服务);

4)MDM需要通过SOA实现信息交换的标准化;

5)MDM需要通过SOA实现信息交互实时性。

正因为如此,该企业将SOA管控和MDM完全融合成一套平台,在企业内部形成业务总线和数据总线的双总线架构模式,同时在远期规划中还会融入PaaS的内容,形成SOA云服务管理平台。

主数据更重要的一个部分是主数据的实施,需要对主数据目前的现状,未来数据集成的关系梳理清楚。该企业一期实现供应商主数据,在之前的调研了解过程中,我们发现供应商数据实际分布在各个系统中,有渠道供应商、采购合作类供应商、员工供应商、杂项供应商,其中渠道、员工和杂项是通过共享模式实现,即MDM只是作为数据的只读视图。采购合作类供应商通过集中模式实现,需要将原来ERP和SCM的入口关闭,统统集中到MDM中进行创建、修改、申请、审批。

员工和杂项供应商实现比较简单,员工通过ETL方式从HR采集视图数据发布成查询服务进行分发,杂项供应商从报账系统采集视图数据发布成查询服务分发。这两类供应商在数据采集方式上略有不同,员工供应商因为数据存量大,增速快,每次采集我们使用增量抽取的方式,通过最后更新时间匹配来实现。杂项供应商变化不大,我们采用全删全增的方式进行采集数据,采集的调度周期都设置为按天执行。

采购合作类供应商比较复杂,数据多源和存量数据问题较大,涉及供应商入口的集中及各业务系统相关功能的关闭和改造,调研和实施周期相对较长。

主数据平台还有一块重要的功能:数据查询和检查,数据查询包括全量数据查询和数据历史查询,全量数据查询包括某类主题的数据合集,满足跨系统数据关联查询的场景,数据查询更全和更准确。

数据历史查询可可追溯数据的历史修改记录,深度描绘数据的变化情况,掌握数据的整个生命周期的演进过程。数据检查包括检查规则配置、检查任务调度、检查单流程。检查规则配置可灵活定义的数据检查规则,支持字段、表、完整性分析,是数据质量提升的重要保证手段。

检查任务调度是检查任务周期性的运行,常态化的检查能随时发现新增的问题数据,提早防范,避免因数据问题导致的业务和流程中断,造成大的影响。检查单流程是数据异常处理流程,从发现数据问题到解决数据问题往往需要多个部门来协调和处理,流程化有利于责权的清晰,可缩短问题的处理周期,流程处理的过程更加透明和可审计。

MDM的实施在优化数据集成架构、提升数据处理效率和质量、提升IT对跨系统统计分析需求快速实现等方面对企业有较大的帮助,是企业数据分析和决策支撑的重要基石。

Copyright © 2013-2018 合肥彼岸互联信息技术有限公司 All Rights Reserved地址:合肥市高新区亚夏汽车大厦17楼
工信部备案号: 皖B2-20150071-4    增值电信业务经营许可证:皖B2-20150071-4 安全联盟认证 安全联盟认证 安全联盟实名认证

copyright@2015 合肥彼岸互联信息技术有限公司

电话:400-893-5552 0551-65371998 QQ:800022936

地址:合肥市高新区亚夏汽车大厦17楼