广东贸易网站建设哪家,中国铁道建筑集团有限公司,建设厅副厅长,jsp网站架构一、数据质量问题场景
在日常工作中#xff0c;业务领导经常通过BI系统来了解各项业务的业绩情况。倘若某天#xff0c;他打开某张核心报表#xff0c;发现当日某个区域的数据一直是空白的。BI开发人员经过几个小时的排查分析#xff0c;发现是当日该区域的销售数据存在产…一、数据质量问题场景
在日常工作中业务领导经常通过BI系统来了解各项业务的业绩情况。倘若某天他打开某张核心报表发现当日某个区域的数据一直是空白的。BI开发人员经过几个小时的排查分析发现是当日该区域的销售数据存在产品类型属性值缺失情况。
以上就是典型的数据完整性问题造成的问题。
随着数字化时代的到来数据质量逐渐成为企业发展的关键因素之一。数据质量管理应秉持预防为主的理念坚持将“以预控为核心以满足业务需求为目标”作为工作的根本出发点和落脚点帮助企业全面提高数据质量。只有通过这种方法企业才能充分利用数据驱动业务发展实现长期的竞争优势。
二、数据质量—质量规则
按照DAMA对数据质量的衡量标准数据质量的六大核心要素完整性、唯一性、一致性、准确性、有效性、及时性。系统提供丰富的质量规则模板同时支持用户自定义创建。 三、数据质量—质量检查
通过预设的数据质量规则在数据集成、数据处理、数据分析等各个环节中对数据质量进行控制。对于不符合质量规则的数据进行特殊处理可根据质量阀值选择中断流程以避免影响后续业务。 说明
得分低于阈值时中断流程若打开该按钮当数据质量的得分比设置的阈值低时则任务会被中断执行。
异常数据处理策略对于不符合质量规则的数据处理策略有三种丢弃、保存和正常标准化。
丢弃不符合规则的数据不会落库也不会保存。
保存不符合规则的数据不会落库但是会保存用于后续的补录。
正常标准化不符合规则的数据也会正常落库。
四、数据质量—质量闭环
质量检查发现问题—》生成问题单—》问题单指派给质量负责人处理—》质量负责人解决问题单—》审核问题单处理完成情况—》问题单关闭
1、生成问题单
在质量任务结果监控页面中得分不满足100分的结果可以生成问题单进行指定任务进行异常数据处理和跟踪此外还可以设置该任务检测出的异常数据无需处理。 生成问题单页面可以设置质量问题的严重程度以及指定解决该质量问题的责任人。 问题单创建完成会通过站内信、邮箱、钉钉、飞书等方式通知到对应责任人。 2、问题单解决
在质量问题处理页面查看待处理问题单。 在问题单处理页面可以查看问题单基本信息包括关联的检测任务、得分、关联的数据资源、问题单状态和描述此外可以查看问题单关联的异常数据并且支持导出异常数据进行修改。 在对异常数据处理完成后提交质量异常数据处理意见。问题单会自动流转到问题单发起人处由发起人员确认。问题单流转会通过站内信、邮箱、钉钉、飞书等方式通知相关人员。 3、问题单审核
可以在问题单发起记录页面查看我发起的问题单处理结果。对于已处理问题单进行审核。 发起人可以通过重新运行质量检查任务来校验问题单异常数据解决情况支持对问题单退回和关闭操作。 五、数据质量-事后审计
提供可视化开发功能支持用户构建审计模型对复杂场景下的数据质量进行发现和分析。 六、总结
OceanMind海睿思数据中台依据DCMM数据质量能力域以”事前预防、事中控制、事后审计“为核心在数据质量需求、数据质量检查、数据质量分析和数据质量提升等方面具备成熟的方法论和丰富的实施经验。
事前预防通过优化流程制度培训提升质量意识提高企业业务系统的数据质量。
事中控制在调研阶段输出的业务蓝图中包括业务流程、数据质量要求和数据责任部门在实施阶段数据质量要求落地为数据质量规则和质量检查任务并且通过质量问题单由数据责任部门进行整改解决数据质量问题。
事后审计定期对企业数据质量进行全面“体检”找到问题的“病因”以实现数据质量的持续提升。
