数据稽核文档

《数据稽核文档》由会员分享，可在线阅读，更多相关《数据稽核文档（7页珍藏版）》请在装配图网上搜索。

1、1.1 数据稽核1.1.1 稽核方略如图所示，D数据稽核的大体思路是通过数据完整性、数据一致性、数据精确性三方面依次对M层数据进行稽核,每一步都为下一步做准备，层层递进,环环相扣，以保证M获取层、基本层、衍生层、复合指标层以及视图层的数据质量。1.1.1.1 数据完整性数据完整性稽核重要涉及，实体与否在规定的时间点提供了并加工生成了数据，实体中指标与否完整覆盖订阅指标两个方面，一方面考虑实体中各账期各省份与否有数据（即判断数据与否缺失），只有在实体有数据的基本上才干做进一步的数据稽核,另一方面检查数据中指标与否满足需求,与否涉及指标订购的指标。实体与否在规定的时间点提供了并加工生成了数据,相称

2、与已经具有了一种完整的木桶,指标覆盖了订购，相称与已经盛满了鱼。数据完整性稽核的目的也就是,用完整的“木桶”,盛满我们需要的“鱼“。1.1.1.2 数据一致性数据在由数据源到数据获取层,数据获取层到基本数据层,再由基本数据层到衍生数据层的传递过程中,数据能否保持一致也成为纵向实体间稽核的内容。在此基本上,检查横向实体间在相似口径下的相似指标的指标值与否一致。虽然实体间相似口径下相似的指标是建设集市竭力避免浮现的，但是一旦浮现并使用，就要要对此进行严格的稽核管控。这种大量横纵十字交叉的方式进行一致性的检查,便形成了一种网状稽核。数据一致性网状稽核的目的便是无“漏网之鱼”。复合指标层的一致性稽核重

3、要涉及复合指标层实体内上期值、合计值等相应一致的稽核，这不仅保证了复合指标层的数据一致，并且便于数据的精确性稽核。 1.1.1.3 数据精确性数据在时间推移的过程中不也许一成不变,会按着一定规律波动，我们根据以往指标数据，拟定不同指标的波动上限,波动下限，形成一种指标的正常波动范畴。在数据保证完整一致的基本上，对目前更新的月数据作环比来体现月指标的变化状况，对目前更新的日数据作同比来体现日指标的变化状况，严格控制阀门，一旦超过指标正常波动范畴，精确及时地找到异常数据。此外，我们用排名对比的措施体现复合指标层指标较上月的排名变化，把指标省内排名和全国排名变化较大的标记为异常指标。以上是本月比起上

4、月同期值的变化状况，如果指标为异常,我们并不能拟定哪个月的数据异常,因此,引出在时间序列上的指标数据呈现，从而拟定异常数据来源。1.1.2 稽核规则根据稽核方略,我们制定了数据完整性、数据一致性、数据精确性稽核的原则,提供数据稽核时参照的根据,也就是稽核规则。1.1.2.1 数据完整性稽核规则1.1.2.1.1 数据与否缺失稽核根据数据应出数时间,与数据实际出数时间对比，检查实体与否在规定的时间点提供了并加工生成了数据。例如：日指标的应出数时间为第二天的四点，我们就可以以此为原则，检查日指标与否在规定的时间点提供了指标数据。1.1.2.1.2 指标与否缺失稽核将表中所含指标与需求订购表作对比,

5、表中没有且订购表中有的指标即是表中缺失的指标。例如说一种表我们需要个指标，但数据接口层的表只提供了这N个指标中的N-1个，那我们就可以找出这一种缺失的指标,反馈给数据提供方。如图所示，显示了两个表的所有订购指标,稽核这两个表的完整性时以这些指标为参照,找出缺失的指标列出来。类型表名订购指标日DM_I_ESS_TERM_D终端补贴顾客主叫计费时长、终端销售量上网流量、网上顾客数、流量顾客数、三无顾客数、活跃顾客数、终端补贴金额、终端补贴主叫通话顾客数月MKPIW_MB_BA_M套餐包上网流量、短信条数、下行流量、佣金、预流失顾客、套餐包主叫计费时长、计费时长、上行流量、流量顾客数、活跃顾客数、三

6、无顾客数、携入顾客数、欠费顾客数、新增顾客数、出账顾客数、离网顾客数、合约到期顾客数、注销顾客数、转网顾客数、停机顾客数、发展顾客数、套餐转移顾客数、通话顾客数、流失顾客数、未出账顾客数、终端补贴顾客数、通话次数、终端补贴金额、上网次数、上网时长、通话时长、上网流量、综合优惠金额、缴费金额、欠费金额、出账收入、网上顾客数、出账收入、上网流量、活跃顾客数、短信条数、出账顾客数以上是稽核基本指标与否缺失,要考虑基本指标在非公共维度上与否缺失，这种状况我们可以通过稽核复合指标与否缺失来实现。系统页面展示时会以复合指标+公共维度的方式呈现,我们通过稽核复合指标在公共维度(时间、地区、产品类型、渠道类型

7、等)上与否缺失来实现。1.1.2.2 数据一致性稽核规则1.1.2.2.1 数据纵向表间传递稽核纵向表间稽核可分为数据获取层与数据仓库数据源指标值的对比稽核、基本数据层同衍生数据层指标值的对比稽核。数据获取层与数据仓库数据源指标值的对比稽核:通过对数据获取层,数据源在相似账期,相似省份的相似口径下的各指标值作差。若差值为零,则数据正常;否则数据在传递过程中有误;基本数据层同衍生数据层指标值的对比稽核:通过对基本数据层，上层衍生数据在相似账期,相似省份的相似口径下的各指标值作差。若差值为零，则数据正常；否则数据在传递过程中有误。通过这两部分稽核,保证了各层数据在传递过程中的一致精确性，并可以及时

8、发现传递有误的数据。1.1.2.2.2 数据横向表间对比稽核横向表间稽核又分为数据获取层表间指标值的对比稽核及数据获取层表内指标值的对比稽核数据获取层表间指标值的对比稽核：通过对横向基本表在相似账期，相似省份,相似业务口径下的各共有指标值作差。若差值为零,则数据正常；否则数据有误,并且若接口层数据传递无误，则表白数据仓库数据源横向表数据有误;例如：M_KPIW_LU_M表中流量在限制了手机顾客群时,应当和M_KI_W_OBS_表中的流量数据完全同样;而限制了卡类顾客群时，应当和DMKI_W_CRD_M表中的流量数据完全同样。接口表接口表共有指标DMKPI_ARD_D_KPI_W_CHAG_无线

9、上网卡出账收入D_KP_W_MOB_BS_MDM_KPIHAGE_M手机出账收入DM_KPI_OB_S_DM_KPI_W_VIC_M手机通话时长、手机通话次数、手机计费时长DMKP_W_MOB_BAS_MDMP_LU_手机上网时长、手机上网次数、手机上网流量、手机上行流量、手机下行流量DM_KPW_MOB_BAS_MDM_KP_WSMS_手机短信条数数据获取层表内指标值的对比稽核：对于某些基本数据层表内有分档，分群的状况,例如说,M_K_W_VM表中对于网上顾客会根据不同需要进行分档,对于G无限上网卡网上顾客的分档为:G无线上网卡流量分档与3G无线上网卡上网时长分档,虽然是按不同的需求进行了分

10、档，但是都是记录3G无限上网卡的网上顾客,通过这两个分档算出的网上顾客数的总值应当是同样的。我们对不同分档下的相似指标值在一致口径下作差对比，对不同拍照群下的观测分散指标求和与拍照群数据在相似口径下作差对比。若差值为零，则数据正常;否则数据有误，并且若数据获取层数据传递无误并通过了横向表间稽核,则该表数据有异常。通过这两部分稽核，保证了基本数据层的横向数据精确性,并可以检查特殊需求表内的数据精确性,为数据质量增添砝码。1.1.2.2.3 复合指标表内一致性稽核 复合指标表内一致性稽核是检查账期内除本期值以外的其她值的一致性,重要针对复合指标层的月复合指标表和日复合指标表,其中月复合指标表中的上

11、期指标值、本年合计指标值、去年同期指标值、去年同期合计指标值,日复合指标表中的昨日指标值、上月同期值、本月同期合计值、上月同期合计值、去年同期值、去年同期月合计。对比规则：1.1.2.3 数据精确性稽核规则1.1.2.3.1 月数据环比预警稽核参照以往合理月数据指标的环比变化,拟定该指标变化的波峰，波谷，由此形成其正常变化范畴。通过对当月账期值与上月账期值对环比对照,若该数据在正常变化范畴内,则阐明该指标数据正常;若偏离正常变化范畴之外，则阐明该指标数据异常。举例,我们通过稽核网上顾客类的6个核心月指标，保证了3.19%的复合指标的精确性。序号分类覆盖率稽核指标稽核措施周期1网上顾客类3.19

12、%2G网上顾客环比月23G网上顾客环比月33G手机网上顾客环比月4固定电话网上顾客数环比月5宽带网上顾客数环比月6无线上网卡顾客环比月离网顾客类1.34%3G离网顾客环比月82G离网顾客环比月9手机离网顾客环比月10固定电话离网顾客环比月宽带业务离网顾客环比月2无线上网卡离网顾客环比月1.1.2.3.2 日数据同比预警稽核参照以往合理日数据指标的同比变化,拟定该指标其波峰，波谷,由此形成其正常变化范畴。通过对当天值与上月同日值对同比对照,若该数据在正常变化范畴内,则阐明该指标数据正常;若偏离正常变化范畴之外,则阐明该指标数据异常。举例，我们通过稽核新增顾客类的6个核心日指标，保证了11.11%的复合指标的精确性。序号分类覆盖率稽核指标稽核措施周期1网上顾客类4.2%2G网上顾客同比日23G网上顾客同比日3固话当天网上顾客同比日4宽带当天顾客达到数同比日5G手机网上顾客同比日3G无线上网卡业务网上顾客同比日7新增顾客类11.11%3G新增顾客同比日8宽带当天新增顾客数同比日9固定电话当天新增顾客数同比日10G新增顾客同比日