省BI常识及数据核查课件.ppt

1、省省BI常识介绍及数据核查常识介绍及数据核查潘承BI常识常识l什么是什么是BI，为什么要，为什么要BIBI是是business intelligence的简称，我们现在所的简称，我们现在所做的广东移动经营分析系统面向的直接客户是做的广东移动经营分析系统面向的直接客户是广东省移动。主要有两方面的功能，一是预测广东省移动。主要有两方面的功能，一是预测功能，根据数据变化的趋势预知经营目标是否功能，根据数据变化的趋势预知经营目标是否可以实现。第二个是考核功能，对数据按需要可以实现。第二个是考核功能，对数据按需要的条件进行各维度的汇总统计。此外还包括有的条件进行各维度的汇总统计。此外还包括有配合中国移动

2、集团公司（一经）和各地市分公配合中国移动集团公司（一经）和各地市分公司开展工作的功能。司开展工作的功能。BI常识常识l计费实时清单文件计费实时清单文件TO_CDR(TS_CDR)关于时间lCALL_DT：用户的通话日期lDEBET_DT：计费的批价日期，和实时清单文件名中日期对应，每地市每15分钟一个批价文件。清单中IMEI字段的最后3个数字对应于清单文件序号。lTM_INTRVL_CD：BI统计日期，一般由存储过程IN参数传入，或者取自源表的TM_INTRVL_CD关于类型lBUSI_TYP_CD：业务类型，有REF.TR_BUSI_TYP对应lDIR_TYP_CD：方向类型，有REF.TR

3、_DIR_TYP对应lFEE_TYP_CD:费用类型，有REF.TR_FEE_TYP对应BI常识常识lPRDCT_CD：产品类型，有REF.TR_PRDCT对应lROAM_TYP_CD：漫游类型，有REF.TR_ROAM_TYP对应lTOLL_TYP_CD:长途类型，有REF.TR_TOLL_TYP对应lIN_ROUTE_CD:入路由，涉及SP的清单，前6位对应SP企业代码，与ODS.TO_SP_CODE对应lB_NBR:对方号码，涉及SP的清单，对应SP服务代码，与ODS.TO_SP_SERV对应lROAM_NBR:漫游号码，涉及SP的清单，对应SP业务代码，与ODS.TO_SP_SUBBU

4、SI对应lLOCAL_CD,CELL_CD:位置、小区代码，与REF.TR_CELL对应BI常识常识关于时长、费用lCALL_DUR：时长，语音通话的时间，单位秒lCALL_CNT：次数，业务的次数lCALL_FLUX：流量，数据业务的流量，单位KBlTOLL_DUR：长途时长,由通话时间按6秒倍数得到，单位秒lDISC_MOB(TOLL、INF)_FEE：二次批价的费用，BI所用l基于实时清单文件的骨干表基于实时清单文件的骨干表用户日通话信息表EDS.TW_USRCALL_DAY_YYYYMMl每天对21个地市清单信息汇总，不分号码BI常识常识业务量日统计表 JFDM.TM_BUSI_USE

5、_DAYl每天对日通话信息表进行汇总,不分本方和对方AREA_CD用户月通话信息表EDS.TW_USRCALL_MO_AAYYYYMMl每月分别对21个地市清单信息汇总，号码级用户消费层次资料表JFEDS.TW_USR_CNSM_RNK_AAl每月对月通话信息表和销帐日志表费用汇总，号码级l两个重要字段：通信用户标识CALLUSR_IND,考核用户标识VAL2_USR_IND日累计通信量与话费表TO_DUR_FEE_DAY_YYYYMMl每天统计号码的累计费用和折算话费以供后续统计每天的通信用户数和考核用户数BI常识常识最新通信用户情况表ODS.TO_CMNCT_USRl每天根据清单表取得新号

6、码或者更新已有号码的状态合作服务方日通话信息表EDS.TW_CMPTCALL_DAY_AAYYYYMMl每天根据清单表的对方号码取新号码联通语音用户资料表 ODS.TO_UNI_VOCUSRl每天根据合作服务方日通话信息表取得新号码或者更新已有号码的状态合作服务方最新用户资料表ODS.TO_CMPT_USR l每天根据合作服务方日通话信息表取得新号码或者更新已有号码的状态BI常识常识用户小区信息月汇总表 EDS.TW_CELL_USE_MO_AAYYYYMMl每月对清单按位置代码、小区代码进行汇总，号码级用户新业务使用情况日统计表EDS.TW_USR_NBUSE_DAY_AAYYYYMMl每天

7、对清单表中增值业务记录做号码级汇总lNEW_BUSI_CD区分各种数据业务类型l帐单文件帐单文件客户帐单ODS.TO_CUST_BILL_AAl数据来源于区域BOSSlFEE_ITEM_CD:费项编码，有REF.TR_FEE_ITEM对应BI常识常识客户月消费 EDS.TW_CUST_CONSUME_YYYYMMl每月对BOSS帐单按用户汇总lMO_AMT_FEE:当月总费用计费月帐单 ODS.TO_DEBT_BILL_AAYYYYMMl数据来源于计费lBILL_TYP_CD:帐单类型，查旧计费系统接口文档说明l用户用户最新用户资料表 ODS.TO_USRl数据来源于区域BOSSlUSR_ST

8、S_CD：用户状态编码，与REF.TR_USR_STS对应l包含割接地市的智能网用户资料BI常识常识最新智能网用户资料表 ODS.TO_IUSRl数据主要来源于智能网lIUSR_TYP_CD：用户类型编码，与REF.TR_IUSR_TYP对应lIGROUP_NO,TAOCAN_TYP：确定号码的子套餐类型lCZ,HY,HZ,JY,MZ,ST,SW的动感地带资料在ODS.TO_USR中lFS,ZH的动感地带数据来源于IBOSSlJM的动感地带数据来源于OCX历史集团用户资料表 EDS.TW_GUSR_YYYYMMl数据主要来源于每月的用户资料月全量和集团产品关系月全量l根据产品维表限制为集团产品

9、类型，非个人产品类型lUSR_NBR：用户号码，对应于集团产品号码BI常识常识l号码服务功能号码服务功能用户定制功能表 EDS.TW_USR_FUNC_YYYYMMl数据来源于区域BOSS，用户IDl包含割接地市的智能网用户定制功能资料智能网号码服务功能关系表 EDS.TW_IUSR_FUNC_YYYYMMl数据来源于区域BOSS，用户号码l智能网用户定制功能资料BI常识常识l集团业务集团业务标准化产品数据表 EDS.TW_CORP_STDPRDCTlUSR_VALID_IND：集团用户有效标识l成员到达数据来源于EDS.TW_CORP_PRDCT_MEMBER_YYYYMMl收入数据含两部分

10、：标准化产品的帐单收入以及集团产品的成员收入行业应用数据表EDS.TW_CORP_INDAPPLY_DATAl数据通过服务代码在清单和计费帐单统计BI常识常识l作业调度作业调度GDBI02GDBI代码08配置数据调度配置DSS配置文档.xlslJOB_PARAM_DEF：作业参数定义lJOB_REF：作业依赖lJOB_TIME_REF：作业时间依赖lTA_ETL_DS_DEF：ETL数据源定义Showref工具l参数0和3：查询作业是否完成l参数46：查前续作业l参数78：查后续作业BI常识常识/ch1_cx/etl/dssprog/checkpointlJob_event.dat：作业事件，

11、记录已完成的作业依赖lJob_queue.dat：作业队列，记录正在等待系统分配资源作业作业运行情况表CTL.JOB_INST_1lINST_STATUS=0代表出错,1是完成,2是正在运行记录装载情况表CTL.TA_ETL_ERR_LOGlPROCESS_STEP：1代表清洗，2代表转换，3代码装载lSOUR_RECORD：源文件记录数lSUCCE_RECORD：成功记录数lFAIL_RECORD：失败记录数，与对应数据源目录下的.rej文件对应，错误原因在.exp文件中有描述BI常识常识转换表REF.TT_BOSS_REFlDIM_CD：转换序号，查相关的转换程序可以知道数据源编码和BI转

12、换编码的对应关系，常用的如CMCC_BRANCH_CD：34,FUNC_CD：14，FEE_ITEM_CD：28lS_CD：源代码lD_CD：目标代码数据核查步骤一数据核查步骤一l明确申告所指明确申告所指经分系统页面路径或者导出文件名称l例如KPI-市场竞争-日-本月累计通信考核客户l新版共享文件夹-个人业务-AA-VALUSR-M-ValUsr_new_YYYYMM_AA地市、数据日期、数值申告原因l例如数据未展示，数据为0l数值突减、突增数据核查步骤二数据核查步骤二l从数据库中得到对应的申告数值从数据库中得到对应的申告数值通过前端测试机（10.200.4.119:9080）的XML得到SQ

13、L语句条件通过GDBI代码03一经代码配置数据GIF.TYJ_EXPORT_JOB_DEF.TXT得到生成导出文件的SQL语句通过SQL条件语句从库表中得到展现的数值以明确申告所指的字段改变数据日期、地市、品牌等条件得到对比数据数据核查步骤三数据核查步骤三l分析原因分析原因差异原因l通过GDBI代码08配置数据调度配置DSS配置文档中的JOB_PARAM_DEF跟踪数据的来源l通过JOB_REF及JOB_TIME_REF检查作业的依赖关系是否准确 l通过存储过程的统计逻辑核查每一步的数值，分析差异原因未展示原因l通过GDBI代码08配置数据调度配置DSS配置文档中的JOB_PARAM_DEF得到作业号l通过showref中的参数0或者3检查作业未完成的原因