
提高对数据质量重要性认识的基础是对数据质量基本属性的认识。
数据是有效开展企业信息化管理和辅助决策分析的依据,是实现企业信息化高速发展的重要保障,因此其质量和时效性已经越来越受到高度关注。我们对数据建设和应用进行了重点投入,目的就是能够拥有丰富、准确、及时、有效的数据资源,占据现代企业信息化管理中的优势地位。数据就是资产的理念已被普遍认识,但要从基本上提高对数据质量重要性的认识,并潜化为工作方式和习惯,就必须立足于对数据及其质量本质的解析,从而推动实践,把握进程。
思考:大集中环境下数据的属性有哪些?如何去监控这些要素达到提高数据质量的目的?
数据作为企业信息化应用的主体,它具有多重属性,其基本质量特性主要包括适用性、准确性、完整性、及时性、有效性等五个方面,要对数据质量进行较好地控制,就必须对数据的五个基本质量特性进行很好了解,从而在各个方面采取措施,杜绝数据质量问题的出现,使数据监控工作能够真正达到控制数据质量的目的。
1数据的适用性。在企业业务开展过程中,会产生大量的各类企业数据,这些数据有企业动态信息等反应不断变化的数量型数据,也有相应企业静态信息等相对稳定的属性信息。这些数据有的是为企业管理和决策服务的,有的则是满足各级管理和分析的需求,这就从客观上造成数据的多样化,同时也是为满足不同专业、不同岗位的 *** 作人员服务的。不同的数据具有不同的使用范围,每个数据的正确性都要求它是进入正确的专业应用,换句话说:无论多么准确、及时的数据,如果不具有适用性,它就不能产生任何效益,甚至 *** 作人员使用之后会造成损失。
2数据的准确性。数据的准确性一般是说数据测量值与真实值相比的符合情况,但在税务登记的基础数据的采集和录入处理过程中,数据的准确性往往变成是指所采集入库的数据值与实际应采集记录的正确值之间的差异。在数据监控和质量控制的过程中,准确性越好的数据,其误差应该越小。影响数据准确性的因素很多,数据误差在数据采集、审核、录入、传输和处理等的各个环节都可能产生。我们需要从各个方面分析影响数据准确性的因素,同时有效控制不同类型数据的合理变化范围,将数据误差控制在尽可能理想的范围内,以保证数据的准确性。
3数据的及时性。在日常数据的管理中,往往要求能够更快、更准地收集到所需的数据。在日常生活中,也有“时间就是金钱”的说法。把这些要求应用到数据上,那就是说数据也必须要有及时性。一个好的应用系统在使用数据时不仅要求数据的适用性还必须考虑数据的及时性,应用系统引入企业管理的主要目的是提高工作效率,把大量复杂、繁重的重复计算、统计、分类工作交由计算机处理并迅速得出准确结果。如果数据不及时,那么应用系统的处理结果就可能违背了程序设计和使用者的初衷,不仅无法提高工作效率,还可能由于数据滞后而影响税款征收的正常化。因此根据数据应用需求及时采集数据,按照 *** 作人员要求及时发布数据,是保证数据及时性的重要一环。
4数据的完整性。数据的完整性相对于准确性和及时性来说并不显得那么重要,但其实它引起的问题并不比前两者轻松。数据的完整性就是我们日常所说“数据齐、全、准”当中的“全”。在数据采集过程中,要把所需信息全部采集完整,数据的完整性一点也不亚于准确性的重要程度,在数据表格、数据库充分应用的情况,对数字的规范化填写要求越来越完善,单独强调数据完整性的情况会越来越少。
5数据的有效性。在解决好数据适用性、准确性、及时性、完整性的情况,需要考虑数据的有效性。对于一个及时采集获得,准确、及时、完整的数据,还需要考虑这个数据使用的时间和对象。一堆过期的数据无异于废品或垃圾,是不产生价值的,因此在使用数据时,要考虑它是否有效。
当然,数据除拥有以上的质量特性之外,还具有可取得性、可衔接性、可解释性、客观性、专业性、可比性等属性特性,这些属性特性对于数据的质量控制也有一定的影响,因此我们在重点监控五个基本质量特性外,也要关注这些属性特征,尤其是在加工和利用中通过技术手段来规范这类属性,达到提高数据质量的目标。
结论:数据是否可信、可用,这是企业部门关心数据的两个层面。是否可信是指数据在适用性、准确性、完整性、及时性和有效性方面,是否满足应用要求;是否可用是指数据的格式、内容等能否被 *** 作人员读取和使用,能不能很方便地进行深入处理和分析。以上两个层面中,可信就是数据的基本质量问题,需要通过采取管理手段、技术手段等各方面的努力来解决;可用是技术层面的问题,主要通过技术手段使数据规范化、格式化。
1 坚持数据质量可控的前提下,对目前大集中运行中存在的数据质量问题要理性对待、科学解决、持续改进
2 思考:目前大集中环境下,在数据质量方面的问题和难点主要有哪些?解决的路径如何去选择?
目前,影响数据质量的因素主要表现在以下几个方面:
1缺乏科学、规范、完整的数据质量标准。有些情况下对录入数据的格式或来源没有统一明确的要求,缺少统一、规范的审核程序和标准,在录入后就成为问题数据,或在数据加工、利用过程中形成垃圾数据。
2数据采集手段相对单一,不能全面采集数据。目前,信息来源面窄,获取信息的手段落后,致使数据质量受到影响。数据采集不全的问题比较突出,多侧重于对纳税人静态信息的收集,而对动态数据的采集不够全面,不能真实掌握实际经营状况。
3数据信息共享程度差。一方面表现为系统内部各软件间数据定义没有统一标准,数据关联性差,信息资源无法得到充分利用;另一方面,由于受社会条件的制约,
4缺乏系统的数据质量管理机制。如大集中系统 *** 作人员无后台权限,查询不便、修改不便,导致数据纠错机制运转不畅;没有统一规范的数据质量标准,导致对数据审核、监督和考核机制缺失等等。
5人员 *** 作水平制约数据质量的提升。一方面,基层分局存在老龄化、信息化基础薄弱的现象。开展了多种多样的岗前培训,而且从主观上也希望能够全面掌握,但是由于基础薄弱导致 *** 作的熟练程度、准确程度有所欠缺。也有极个别现象同志工作责任心不强,对待一些简单重复性的工作缺少工作耐心,致使错误数据屡屡出现。另一方面,人员对网上申报等系统的掌握程度不一,意识不同,也影响到了原始数据的真实性和及时性。
1建立数据质量管理标准。有了统一的数据标准后,数据录入采集、加工处理等诸过程都将按照标准要求进行,数据混乱出错的情况将大为减少。需要整理发布的基础性数据标准包括业务元数据的标准和相关代码的标准。
2业务元数据是关于业务数据的数据,即对业务数据或信息进行描述的数据。发布业务元数据的标准就是提供一个统一的业务数据项定义和描述方法,对数据元素名称、数据元素定义、数据来源、源数据载体、数据类型、逻辑一致性、采集主体、采集频率、更新等级、业务类别等方面作详细说明。
3完善数据质量管理机制。为了保证业务数据准确、及时、完整一致,必须要有专门的机构和岗位负责业务数据质量的监督管理。当前,各级要在建立健全税源管理中心的机制、职能的过程中,专门设置数据质量管理岗,或将数据管理的职能详细明确到相关岗位,牵头负责企业业务数据的质量管理,使得业务数据质量管理工作制度化、常规化。如负责统筹企业业务数据质量管理工作,制定有关制度和办法,业务数据加工处理过程中的质量控制,按照规定进行技术岗位数据变更,并对系统企业业务数据质量情况进行考核;信息部门负责系统数据资源的安全传输和存储;各业务部门根据各自业务管理权限,负责对应范围内的企业业务数据质量管理,参与相关制度办法、数据审计规则和问题数据处理方案的制定;各基层单位所负责本部门业务范围内企业业务数据质量管理;各岗位人员对自身采集录入的业务数据质量负责;对其他岗位采集录入的,且属于本岗位管辖范围的数据质量负责。在明确职责的基础上,应相应完善一系列管理制度,确保落实过程中的可 *** 作性。
4提供数据质量管理工具。数据质量管理工具针对数据流中的特点,主要体现三个特点:前堵、中控、后审。
5提升 *** 作人员数据应用水平。在培训模式上,建议根据岗位需要,分批分岗位培训,集中整理特殊环节、特殊业务处理的注意事项,尽快下发系统 *** 作的帮助文档。实际应用中其实并不需要太多懂得全流程的通才,更需要熟悉自己岗位所涉及模块的专才,只要每个岗位都能熟练 *** 作,那整个系统才能发挥应有作用。
结论:数据质量问题不外乎两方面原因,管理上(人)的因素和技术上的因素,建立健全科学、规范的数据质量管理机制,从组织、制度、技术等层面保障对数据的有效监控,是破解如何保证数据质量难题的关键。
提高数据管理水平的过程中质量和效率的冲突、是必然的,但也是可以化解的
信息化在人的意识中往往意味着速度、效率,当信息化在企业征管中全面应用、快速推进后,手工作业已基本被电子化所取代,由此带来的工作提速是毋庸置疑的。这理应会带来工作量的减轻与征纳的便捷,而易于被征纳双方所接纳。但事实往往会与理论产生偏差,在推进信息管税的过程中,特别是初期,数据质量的提高必然要付出效率的牺牲,也必然会有来自纳税人的阻力,但提高数据质量或者说推进信息技术的根本目的决定了这种冲突是可以化解的。
结论:提高数据信息的质量,加强数据管理,不仅需要在企业工作中充分利用现代信息技术,强化企业业务与信息技术的融合,还要依靠纳税人的配合参与,企业设定的理想化程序未必是最符合当前现实的诉求,必须循序渐进,稳步推进。但一切工作的成败终究取决于人,企业提高的思想认识,更新理念观念,不失为提高数据质量的治本之道。
数据质量与商业智能
数据质量角色
对于增强数据资产准确度和价值而言,将数据质量规则与活动(探查、清洗和监测)和MDM流程相集成显得十分关键。在启动任何MDM项目之前,您都需要了解源数据的内容、质量和结构。在数据源进行的数据探查使数据管理员和数据仓库管理员能够在数据进入MDM系统之前,快速发现和分析跨所有数据源的所有数据异常。此流程可极大加快从MDM实施中获取价值。
由于数据清洗增强了数据的准确度,带来了数据完整性,并从源头增进了数据的可信度,因此数据清洗改善了MDM系统中的数据一致性。一旦源数据进入MDM系统,它将接受数据质量处理,其中包括验证、更正和标准化。MDM系统存储了在数据清洗前后的整个历史记录,从而开发人员不必再跟踪数据仓库中的数据沿袭。
最后,数据质量度量标准使数据仓库管理员能够更好地监控参考数据的质量,并确保可以长期持续使用高质量的数据。
因此,从技术角度看,实施MDM和InformaticaDataQuality,作为数据仓库中主数据的确定来源,可以从提取、转换和加载(ETL)流程中简化数据集成。此方法可极大减低与数据仓库有关的整个开发和维护工作。通过建立数据质量度量标准和定义数据质量目标,数据仓库管理员和数据管理员能够更好地监控参考数据的质量,并确保随着时间的推移能够跨企业持续使用高质量的数据。MDM简化了对数据仓库维度更新的处理,因为用于确定更改内容的所有逻辑均封装在MDM系统中。
此外,MDM系统可以卸除大多数数据仓库的历史记录跟踪负担,使数据仓库仅管理它需要为进行聚合而应跟踪的变更。此系统可带来更小的数据仓库维度以及对负荷和查询性能的重大改进。运用MDM和InformaticaDataQuality将最终降低数据集成的工作量,提高从商业智能和报表推导的洞察分析的质量,确保能够从为商业智能增效的数据仓库方案中获得预期的价值和投资回报。
数据质量水平与商业智能的关系
当无法通过商业智能系统和报告系统提供准确的数据时,业务总体上都会受到影响。以下是为创建报表的商业智能系统提供不可靠数据所造成的一些后果:
业务负责人:不准确的管理报告导致决策不够明智。
合规主管:合规性法案要求公司能为其财务和合规报表提供一定的透明度和可审计性。
业务分析师:如果业务分析师花费过多时间在多个商业智能系统间手动搜索和整理信息以更新和修正报表,则业务分析师的生产率会受到影响。此低效的工作会直接影响成本和营利能力。
这些业务问题的根源在于没有关于客户、产品、渠道合作伙伴和供应商的唯一真实版本。由于在处理每个业务流程的不同系统间收集、存储和管理这些数据(亦称之为参考数据或主数据),因此,需要正确地解析重叠和冲突的参考数据,以获得唯一真实版本,从而带来宝贵而可 *** 作的洞察力。许多组织拥有数十或数百数据库,并且在这些数据库中有维护相同核心参考对象的数十个(有时为数百个)不同的应用程序,而这些核心参考对象还具有重叠的属性。
商业智能系统的用途是以中立的视角报告取自多个系统的现有数据。商业智能系统可以为维度分析进行一些累积工作,但是设计或配备商业智能系统并非为了创建唯一的真实版本。在取自应用程序孤岛的客户或产品数据中存在的不一致会对数据仓库中运行的分析可靠性产生消极的影响。
总而言之,企业的商业智能只会与企业的数据质量水平相当。
数据质量与五种形式的商业智能。
商业智能已经发展成为多种形式,旨在满足企业不断增长的要求和任务关键型活动日益增长的水平。这些形式都有其自己的一套数据质量要求。
仪表板
记分卡和仪表板正被广泛采用,越来越多的用户利用它们获取财务,业务和绩效监控的鸟瞰图。通过可视化的图形、图标和计量表,这些传输机制帮助跟踪性能指标并向员工通知相关趋势和可能需要的决策。提供集成视图所需的数据元素通常跨越多个部门和学科,需要绝对最新才能有效。
数据质量会影响记分卡和仪表板用户,因此这些用户必须能够:
1.使用仪表板中计量表和刻度盘上的完整数据,并迅速采取措施。
2.获取集成视图并使用标准化数据进行协作。
3.利用具有一致数据的正式记分卡方法。
4.向下钻取以查看组或个人级别绩效的准确数据。
5.找到能够生成明显趋势且重复数据最少的业务流程。
6.推导关联性并通过验证的数据执行交叉影响分析。
企业报告
企业报告为所有级别的个人提供来自企业资源规划(ERP)、客户关系管理(CRM)、合作伙伴关系管理(PRM)、发票和帐单系统,以及整个企业内其他源系统的各种运营报告和其他业务报告。这些报告分布广泛,而薪酬和其他激励计划通常与报告的结果有关。
数据质量会影响组织报告,因为组织必须:
1.浏览多个报告,将它们显示到从不同来源聚合数据的多个表单中。
2.选择各种参数并通过标准化数据为用户定制报告。
3.利用各种性能指标的协调数据呈现多个表格和图表。
4.使业务用户能够利用高精准数据创建自己的报告,无需IT部门参与。
5通过清洗和匹配的数据减少合规性管理的人工检查和审计。
6.利用完整财务数据直接从商业智能报告开具发票和帐单。
OLAP分析
OLAP使用户能够即时以交互方式对相关数据子集进行“切片和切块”。同时,OLAP功能,比如向上钻取、向下钻取、或任意挖掘(跨业务维度)、透视、排序、筛选、以及翻阅,可用于提供关于绩效的基本详细信息。最为重要的是它能够回答存在的任何业务问题。这意味着调查深入到单个或多个数据仓库中可用的最原子级别的详细信息。
数据质量会影响OLAP分析,因为用户和组织需要:
1.通过对目标数据的完全访问在所有维度中任意钻取以进行深入调查。
2.通过设置好格式的一致数据将OLAP轻松应用于任何维度子集。
3.利用一致的基本数据对象最大限地减少冲突报告,确保交互性。
4.利用多个维度的正确数据执行用户驱动的适时分析。
5.提供更新的同步数据来处理事务级数据分析。
预测分析
高级和预测分析使富有经验的用户能够充分调查和发现特定业务绩效背后的详细信息并使用该信息预测远期效果。此方法可能涉及高级统计分析和数据挖掘功能。为了推动积极决策和改进对潜在商业威胁的姿态,预测分析可能包括假设测试,客户流失预测,供应和需求预测,以及客户评分。预测建模可用于预测各种业务活动及相关效果。
数据质量会影响高级和预测分析,因为用户会寻求:
1.为可定制报告创建跨越任何数据元素的报告过滤标准。
2.为标准化数据格式搜索模式和预测洞察力以促进积极决策。
3.通过一致数据获得信心,找出相互依存的趋势和预期成果。
4.对准确数据采用多变量复原和其他技术,以实现更好的预测。
5.在无数据重复的前提下定制数据分组,最大限度减少冲突。
6.使用经认证的数据检验假设并使用统计、财务和数字函数。
通知警报
使用电子邮件、浏览器、网络服务器和打印机、PDA或门户网站时,通过通知和警报在广泛的用户触点间主动共享信息。通过及时交付目标信息,关键相关人士和决策者可以识别潜在的机会领域并发现要采取措施的问题领域。这种“一线”BI传输机制使组织能够保持协调一致,与业务风险和机会并进,同时事件仍将保持新鲜和有意义以保证响应。
在此领域,数据质量会影响组织,因为组织会努力:
1.从任何和所有数据源向最广泛的用户接触点发布警报。
2.确保标准化及非冲突数据集上各种订阅类型的高吞吐量。
3.使用户能够打开附件或点击链接,同时呈现一致、集成的数据。
4.通过预先评定并核准的数据质量来降低发布错误警报和通知的风险。
5.允许在多个事件数据符合特定阙值时实时触发警报。
6.利用经验证的数据进行内容个性化和组关联。
大数据时代的到来,让政府、企业看到了数据资产的价值,并快速开始 探索 应用场景和商业模式、建设技术平台。但是,如果在大数据拼图中遗忘了数据治理,那么做再多的业务和技术投入也是徒劳的,因为很经典的一句话:Garbage in Garbage out。
当你处理或使用过大量数据,那么对“数据治理”这个词你一定不会陌生。你会思考数据治理是什么?数据治理是否适合你?如何实施。简单来说,数据治理就是处理数据的策略——如何收集、验证、存储、访问、保护和使用数据。数据治理也还包括谁来查看,使用,共享你的数据。
随着大数据时代的推进,以上这些问题日益突出,越来越多的企业依赖采集、治理、储存和分析数据,并实现他们的商业目标。数据变成了企业的盈利工具、业务媒介和商业机密。数据泄露会导致法律纠纷,还会令消费者对公司的核心业务失去信心。
如果抱着侥幸的心理,让各个业务部门自己管理数据,那么你会缺乏有效的数据管理,甚至各部门会自己做自己的。你无法想象各个部门按随心所欲地自己生产、储存、销售产品。数据使用不当就像库存使用不当一样,会给企业造成沉重的损失。因此必须制定一项测量用以保证所需数据的有效和安全,可用性,这就是我们要谈的“数据治理”。
数据治理策略必须包含完整的数据生命周期。策略必须包含从数据采集、清洗到管理,在这个生命周期内,数据治理必须要有关注以下内容:
数据从哪里来,数据怎么来
这是数据生命周期的起点。数据来源决定了数据治理策略的基础。例如数据集的大小就由数据来源所决定。是从目标市场、现存用户和社交媒体收集数据?还是使用第三方收集数据或者分析你收集的数据?输入数据流是什么?数据治理必须关注这些问题,并制定策略来管理数据的采集,引导第三方处理他们收集的数据或者分析你收集的数据,控制数据的路径和生命周期。
数据校验
通常数据源都是非常庞大且多样的,这是一个让数据管理者非常头疼的问题。将数据噪音和重要数据进行区分仅仅只是开始,如果你正从关联公司收集数据,你必须确保数据是可靠的,对于那些几万、几十万、甚至成百上千万的复杂关系数据,单靠人为的通过Excel对进行数据清洗已经不太现实,需要专业的数据清洗工具或系统对海量复杂关系数据进行批量查询、替换、纠正、丰富以及存储。将元数据、主数据、交易数据、参考数据以及数据标准内置固化到数据清洗工具或系统中,结合组织架构、内容管控、过程管控等管理机制、技术标准提高数据治理人员的工作效率。比如:需要手工编写程序收集的元数据,系统帮你自动获取;需要人工识别或编写代码实现的数据质量检查,系统帮你自动识别问题;用文档管理的数据字典,系统帮你在线管理;基于邮件和线下的流程,系统帮你线上自动化。当然,系统并不是万能的,数据治理的软件工具与其他软件工具一样,没有什么神奇之处,没有数据治理人员的参与和数据治理工作的推进,软件再完美也无法完成数据治理整个过程。这也是为什么数据治理咨询服务一直有其市场,以及为什么国内大部分单纯数据治理软件项目未能达到预期目标。
数据治理必须解决存储问题
而数据存储和数据集的大小有密切关系。大数据的存储必须是在安全的冗余系统之中。常常利用层次体系,根据使用频率来存储数据。这样一来,昂贵的在线系统提供的是被频繁请求的数据,而请求频率较低的数据则存储在便宜,可用率较低的系统上。当然,一些请求频率低但是敏感的数据如果存储于安全性较低的系统上,风险会大大提升。因此,在制定数据存储方案时,良好的数据治理策略必须考虑到方方面面的因素。
数据治理必须建立访问管理制度,在需求和安全性找到平衡点
明确访问者的权限,只能访问他们对应权限包含的数据。只有合法请求才能够访问数据,而敏感的数据需要更高的权限和更严密的验证才可以被访问。只向具有特定安全级别的用户开放。应该对用户和数据本身设置访问级别,管理账户时,应与人力资源部和采购部紧密互动,这一点非常重要,因为这样可以及时地使离职员工和停止合作的供应商不再拥有访问权限。处理好这些细节以及确保数据所有权和责任,这是构成完整的数据治理策略的一部分。
数据的使用/共享/分析
如何使用数据是数据治理之后一项重要的内容,数据可能会用于客户管理,提高客户体验,投放定向广告,用户应用系统初始化基础数据工作,辅助应用系统建设,提供市场分析和关联公司共享数据。必须仔细界定哪些数据可用于共享或者用于营销,并保护它们免遭攻击和泄露,因为数据本来就应该被用于纯粹的内部用途。让用户知悉采集数据的所有公司都会遵守数据安全和保证的规定。能够确保数据被合理合规的使用,也是数据治理重要的一项内容。
收集、验证、存储、访问和使用都是数据安全计划的必要组成部分
收集、验证、存储、访问和使用都是数据安全计划的必要组成部分,必须要有一个全面的策略来解决这些问题以及其他安全问题。数据安全计划必须是有效且可用性高,但是数据生命周期的所有部分都很容易受到攻击和由于粗心造成的破坏。你必须在数据治理中确定数据安全计划,包括访问控制,静态数据,数据加工,数据传输之后的加密等。
管理/元数据
没有管理的数据生命周期是不完整的。例如,将元数据应用于一段数据,用来进行识别检索。元数据包含数据的来源,采集或生成的日期,信息访问的级别,语义分类及其他企业所必须的信息。数据治理能建立一个元数据词汇表,界定数据的有效期。请注意数据也会过期,过期之后我们只能用于 历史 数据的分析。
数据治理创建的过程中可能会在企业内部遭到一些阻力,比如有的人会害怕失去访问数据的权限,而有些人也不愿意和竞争者共享数据。数据治理政策需要解决上述问题,让各方面的人都可接受。习惯了数据筒仓环境的公司,在适应新的数据治理策略上面会有困难,但如今对大型数据集的依赖以及随之而来的诸多安全问题,使创建和实施覆盖全公司的数据策略成为一种必然。
数据日益成为企业基础设施的一部分,在企业一步步处理各种特定情况的过程中形成决策。它以一次性的方式作出,常常是对某一特定问题的回应。因此,企业处理数据的方法会因为不同部门而改变,甚至会因为部门内部的不同情况而改变。即使每个部门已经有一套合理的数据处理方案,但这些方案可能彼此冲突,企业将不得不想办法协调。弄清数据存储的要求和需求是一件难事,如果做得不好,就无法发挥数据在营销和客户维系方面的潜力,而如果发生数据泄露,你还要承担法律责任。
另外在大企业内部,部门之间会展开对数据资源的争夺,各部门只关注自身的业务情况,缺乏全局观念,很难在没有调解的情况下达成妥协。
因此公司需要一个类似数据治理委员会的机构,他的职责是执行现有数据策略、挖掘未被满足的需求以及潜在安全问题等,创建数据治理策略,使数据的采集、管护、储存、访问以及使用策略均实现标准化,同时还会考虑各个部门和岗位的不同需求。平衡不同部门之间存在冲突的需求,在安全性与访问需求之间进行协调,确保最高效、最安全的数据管理策略。
建立数据治理委员会
负责评估各个数据用户的需求,建立覆盖全公司的数据管理策略,满足内部用户、外部用户甚至法律方面的各种需求。该委员会的成员应该囊括各个业务领域的利益相关者,确保各方需求都得到较好地满足,所有类型的数据所有权均得到体现。委员会也需要有数据安全专家,数据安全也是重要的一环。了解数据治理委员会的目标是什么,这一点很重要,因此,应该思考企业需要数据治理策略的原因,并清楚地加以说明。
制定数据治理的框架
这个框架要将企业内部、外部、甚至是法律层面的数据需求都纳入其中。框架内的各个部分要能够融合成一个整体,满足收集、清洗、存储、检索和安全要求。为此,企业必须清楚说明其端到端数据策略,以便设计一个能够满足所有需求和必要 *** 作的框架。
有计划地把各个部分结合起来,彼此支持,这有很多好处,比如在高度安全的环境中执行检索要求。合规性也需要专门的设计,成为框架的一部分,这样就可以追踪和报告监管问题。这个框架还包括日常记录和其他安全措施,能够对攻击发出早期预警。在使用数据前,对其进行验证,这也是框架的一部分。数据治理委员会应该了解框架的每个部分,明确其用途,以及它如何在数据的整个生命周期中发挥作用。
数据测试策略
通常一个数据策略需要在小规模的商用环境中进行测试,用来发现数据策略在框架,结构和计划上的不足之处并进行调整,之后才能够投入正式使用。
数据治理策略要与时俱进
随着数据治理策略延伸到新的业务领域,肯定需要对策略进行调整。而且,随着技术的发展,数据策略也应该发展,与安全形势、数据分析方法以及数据管理工具等保持同步。
明确什么是成功的数据策略
我们需要确立衡量数据治理是否成功的明确标准,以便衡量进展。制定数据管理目标,有助于确定成功的重要指标,进而确保数据治理策略的方向是符合企业需求。
无论企业大小,在使用数据上都面临相似的数据挑战。企业越大,数据越多,而数据越多,越发需要制定一个有效的,正式的数据治理策略。规模较小的企业也许只需要非正式的数据治理策略就足够了,但这只限于那些规模很小且对数据依赖度很低的公司。即便是非正式的数据治理计划也需要尽可能考虑数据用户和员工数据的采集、验证、访问、存储。
当企业规模扩大,数据需求跨越多个部门时,当数据系统和数据集太大,难以驾驭时,当业务发展需要企业级的策略时,或者当法律或监管提出需求时,就必须制定更为正式的数据治理策略。
以上就是关于企业应该如何进行DQM—数据质量管理全部的内容,包括:企业应该如何进行DQM—数据质量管理、商业智能的数据质量、如何有效的进行数据治理和数据管控等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)