面对大数据背景下高校数据质量面临的诸多问题,围绕提升数据质量,该平台能够针对性的解决和提升数据质量问题该做出怎样的改良?这也是大多数学校所关心的重点问题。对此ZIOT正略科技负责人应一国提出了自己的几点建议:
1.通过元数据标准(业务、技术、操作)建设,形成高校的主数据体系,通过代码标准、元数据标准,完善高校已有的数据标准,通过自动的数据标准约束检查不断迭代发布更新数据标准。反过来,由业务数据驱动元数据标准的完善和补充。通过数据源和数据模式等元数据信息的定期检查,保持和提高数据标准与业务数据的关联一致。
2.数据质量的管理流程制度化:通过定期数据质量约束检查→生成数据质量结果报告→根据数据链溯源→数据质量结果反馈来源部门→数据修正→再次数据质量检查,这样的数据质量管理流程,技术加管理相结合,实现数据质量的提升。
3.通过大数据分析处理Hadoop集群平台,进行基于主题数据模型的建模,通过分析计算形成结果数据。保存到主题数据库中,并且登记到统一的主数据平台。
4.在主数据平台的基础上,开放和配置数据访问接口。通过API方式或者传统数据接口方式,满足大批量数据集成访问方式或者WebService的数据访问方式的接口要求。通过统一的接口配置和管理,实现数据访问的权限管理和访问审计。
5.建设具有唯一权威数据源的主数据。针对数据质量属性中绝对质量和使用质量的问题,通过质量约束规则定期检查主数据,形成数据质量结果报告。对于多来源数据不一致问题通过确定唯一数据源进行解决,不能确定数据源时还可通过专家干预的方式进行处理。
数据的质量问题是高校信息化面临的主要问题之一。构建统一的主数据管理服务平台,通过元数据标准和数据质量治理技术手段和管理流程相结合,能够解决质量问题,满足未来智慧校园的服务需求。
1.通过元数据标准(业务、技术、操作)建设,形成高校的主数据体系,通过代码标准、元数据标准,完善高校已有的数据标准,通过自动的数据标准约束检查不断迭代发布更新数据标准。反过来,由业务数据驱动元数据标准的完善和补充。通过数据源和数据模式等元数据信息的定期检查,保持和提高数据标准与业务数据的关联一致。
2.数据质量的管理流程制度化:通过定期数据质量约束检查→生成数据质量结果报告→根据数据链溯源→数据质量结果反馈来源部门→数据修正→再次数据质量检查,这样的数据质量管理流程,技术加管理相结合,实现数据质量的提升。
3.通过大数据分析处理Hadoop集群平台,进行基于主题数据模型的建模,通过分析计算形成结果数据。保存到主题数据库中,并且登记到统一的主数据平台。
4.在主数据平台的基础上,开放和配置数据访问接口。通过API方式或者传统数据接口方式,满足大批量数据集成访问方式或者WebService的数据访问方式的接口要求。通过统一的接口配置和管理,实现数据访问的权限管理和访问审计。
5.建设具有唯一权威数据源的主数据。针对数据质量属性中绝对质量和使用质量的问题,通过质量约束规则定期检查主数据,形成数据质量结果报告。对于多来源数据不一致问题通过确定唯一数据源进行解决,不能确定数据源时还可通过专家干预的方式进行处理。
数据的质量问题是高校信息化面临的主要问题之一。构建统一的主数据管理服务平台,通过元数据标准和数据质量治理技术手段和管理流程相结合,能够解决质量问题,满足未来智慧校园的服务需求。
