Oracle数据仓库用户案例课件.ppt

1、OracleOracle数据中心用户案例介绍数据中心用户案例介绍 0内容内容q 法国电信法国电信q 新西兰电信新西兰电信1法国电信数据仓库法国电信数据仓库2法国电信法国电信(France Telecom)q 欧洲第三大电信运营商，欧洲第三大电信运营商，2000年营年营业额为业额为337亿欧元亿欧元q 在五大洲在五大洲220个国家和地区拥有个国家和地区拥有9100多万客户多万客户q 下属下属Orange是第二大移动运营商是第二大移动运营商3实际的数据仓库案例实际的数据仓库案例wintercorpWinter VLDB Survey 14 Sep 2019Largest Database Size

2、,Decision Support41.Sears Teradata4.632.HCIA Informix 4.503.Wal-Mart Teradata 4.424.Tele Danmark DB2 2.845.CitiCorp DB2 2.476.MCI Informix 1.887.NDC Health Oracle 1.858.Sprint Teradata 1.309.Ford Oracle 1.2010.Acxiom Oracle 1.13SBCTeradata10.50 First UnionInformix 4.50 Dialog Proprietary 4.25Telecom

3、 ItaliaDB2 3.71 FedEx Teradata 3.70Office DepotTeradata 3.08AT&T Teradata 2.83SK C&C Oracle 2.54NetZero Oracle 2.47Telecom ItaliaInformix 2.322019 Survey2019 SurveyFrance Telecom Oracle29.23AT&T Daytona26.27 SBC Teradata24.81AnonymousDB216.19 Amazon Oracle13.00Kmart Teradata12.59Claria Oracle 12.10H

4、IRA Sybase IQ11.94FedExTeradata9.98VodafoneTeradata9.912019 Survey法国电信：法国电信：世界上最大的数据仓库世界上最大的数据仓库Winter 2019 VLDB SurveyLargest Database Size,Decision Support5数据仓库项目建设目标数据仓库项目建设目标建立统一的数据信息平台，实现建立统一的数据信息平台，实现客户资料和生产数据的集中存储。利客户资料和生产数据的集中存储。利用先进的数据仓库技术和决策分析技用先进的数据仓库技术和决策分析技术为市场营销和客户服务工作提供有术为市场营销和客户服务工作提

5、供有效的支撑：效的支撑：流失分析流失分析 欺诈分析欺诈分析 客户发展分析客户发展分析 客户关系管理客户关系管理6目前系统规模目前系统规模q 包含包含12个月的话单个月的话单q 数据库容量为数据库容量为65TB，其中原始数据为，其中原始数据为25TBq 最大的表包含最大的表包含1800亿话单亿话单7项目面临的技术挑战项目面临的技术挑战q数据存储数据存储系统要求存储系统要求存储1218个月个月的的 详单数据详单数据q数据装载数据装载按小时装载详单数据，要求每天在按小时装载详单数据，要求每天在8小时小时内装载内装载5亿条亿条详单详单高峰时一个小时装载高峰时一个小时装载6500万条万条详单详单在在8小

6、时内同时完成小时内同时完成1亿亿7000万个万个汇总操作汇总操作q数据访问数据访问支持支持680个个并发用户，支持并发用户，支持8000 个系统用户个系统用户95%的预定义查询操作在的预定义查询操作在5秒钟秒钟内完成内完成每秒钟每秒钟23个查询操作个查询操作8法国电信选择数据仓库平台的考虑法国电信选择数据仓库平台的考虑q强大的强大的ETL支持能力支持能力支持支持按小时的数据装载按小时的数据装载q高效的数据访问高效的数据访问硬件的支持：多硬件的支持：多CPU、大内存、并行处理大内存、并行处理分区技术分区技术索引技术索引技术数据库内置的分析能力数据库内置的分析能力q高可用性高可用性7 x 24不间

7、断运行不间断运行q软件的成熟性软件的成熟性TB级数据仓库用户案例级数据仓库用户案例9数据仓库数据仓库数据缓冲池和操作数据存储数据缓冲池和操作数据存储汇总计算汇总计算计算 更新生产数据采集和预处理生产数据采集和预处理预处理转换导出新数据数据仓库数据仓库系统管理系统管理数据仓库数据仓库功能管理功能管理错误数据处理错误数据处理刷新数据集市刷新数据集市数据集市数据集市 1 客户资料接收和准备客户资料接收和准备质量检查转换数据集市数据集市 2 中央数据存储中央数据存储预处理应用预处理应用其它其它界面界面WEB界面界面即席查询应用即席查询应用应用平台应用平台系统的逻辑结构系统的逻辑结构10系统中使用的系统

8、中使用的Oracle关键技术关键技术混合分区混合分区.2:00地区地区-11:00地区地区-100-Feb地区地区-100-Jan地区地区-100-Mar地区地区-1.地区地区-2地区地区-2地区地区-2地区地区-2地区地区-2范围范围(时间时间)地区地区-3地区地区-3地区地区-3地区地区-3地区地区-3哈希哈希(地区地区)11混合分区的设计混合分区的设计q 按地区建立列表分区按地区建立列表分区q 按时间建立范围分区按时间建立范围分区一天以上的话单数据按天建立一天以上的话单数据按天建立365分区分区一天以内的话单按小时建立分区一天以内的话单按小时建立分区12select sum(sales_

9、amount)from sales where sales_date between to_date(01-MAR-2019,DD-MON-YYYY)and to_date(31-MAY-2019,DD-MON-YYYY);利用分区忽略提高大表的查询性能利用分区忽略提高大表的查询性能分区忽略分区忽略:只有相关分区被访问只有相关分区被访问99-May99-Apr99-Feb99-Jan99-Mar99-JunSales系统测试结果系统测试结果q 数据访问数据访问:每秒钟每秒钟23到到100个并发查询操作个并发查询操作95%的查询在的查询在1秒钟内完成秒钟内完成14系统中使用的系统中使用的Orac

10、le关键技术关键技术可传输的表空间可传输的表空间业务系统业务系统数据仓库数据仓库MarFebJanMar Febq 操作系统文件的直接复操作系统文件的直接复制制q 不需要数据的导入不需要数据的导入/导出导出实现按小时的数据加载15OLTPData Warehouse Data Marts ArchivesInformationdistributionStaging可传输表空间在数据仓库中的使用可传输表空间在数据仓库中的使用举例举例利用可传输的表空间和利用可传输的表空间和分区技术实现快速数据分区技术实现快速数据装载装载17详单数据的导出详单数据的导出1.把需要传输的数据放在单独的表空间把需要传输

11、的数据放在单独的表空间CREATE TABLE temp_CREATE TABLE temp_janjan_sales _sales NOLOGGING TABLESPACE NOLOGGING TABLESPACE ts ts_temp_sales _temp_sales AS SELECT AS SELECT*FROM sales FROM sales WHERE time_id BETWEEN 31-DEC-2019 AND 01-FEB-2000;WHERE time_id BETWEEN 31-DEC-2019 AND 01-FEB-2000;2.导出数据字典导出数据字典EXP TR

12、ANSPORT_TABLESPACE=y EXP TRANSPORT_TABLESPACE=y TABLESPACES=TABLESPACES=ts ts_temp_sales _temp_sales FILE=FILE=janjan_sales._sales.dmpdmp 3.复制复制数据文件和数据字典到数据仓库服务器数据文件和数据字典到数据仓库服务器18详单数据的导入详单数据的导入4.导入数据字典导入数据字典IMP TRANSPORT_TABLESPACE=y IMP TRANSPORT_TABLESPACE=y DATAFILES=/db/DATAFILES=/db/tempjantem

13、pjan.f.f TABLESPACES=TABLESPACES=ts ts_temp_sales FILE=_temp_sales FILE=janjan_sales._sales.dmp dmp 5.通过分区交换，将新数据加入目标表通过分区交换，将新数据加入目标表1.1.ALTER TABLE sales ALTER TABLE sales ADD PARTITION sales_00jan ADD PARTITION sales_00jan VALUES LESS THAN(TO_DATE(01-VALUES LESS THAN(TO_DATE(01-febfeb-2000,-2000,

14、dddd-monmon-yyyyyyyy););2.ALTER TABLE sales 2.ALTER TABLE sales EXCHANGE PARTITION sales_00jan WITH TABLE temp_sales_ EXCHANGE PARTITION sales_00jan WITH TABLE temp_sales_jan jan INCLUDING INDEXES WITH VALIDATION;INCLUDING INDEXES WITH VALIDATION;19系统测试结果：数据装载系统测试结果：数据装载q 数据装载：装载包含数据装载：装载包含5000万条详单的

15、一个分区和万条详单的一个分区和2个个索引的一个表空间索引的一个表空间文件传输文件传输:4 50数据导入到数据导入到Oracle数据仓库数据仓库:瞬时瞬时创建索引：创建索引：750”预计算及其它运算：预计算及其它运算：14 合计：合计：3226”20物化视图提高汇总数据的访问性能物化视图提高汇总数据的访问性能按月汇总的按月汇总的不同种类通话不同种类通话时长数据时长数据按地区汇总的按地区汇总的每月通话时长每月通话时长查询查询查询查询自动重写自动重写法国法国和意大和意大利的用户在利的用户在过去三个月过去三个月的漫游通话的漫游通话总时长是多总时长是多少？少？21使用使用Oracle内置的内置的SQL分

16、析函数分析函数q 汇总汇总 ROLLUP&CUBEq 抽样抽样 Samplingq 排名排名 Rank-rank,percentile,ntile,top,bottomq 滑动窗口滑动窗口 Moving Window-avg,sum,min,max,count,variance,stddev,firstvalueq 同比同比 Period-over-period comparisonsq 时间序列时间序列Lagq 报表函数报表函数sum,avg,min,max,variance,stddev,count,ratiotoreportq 统计函数统计函数covariance,correlation

17、,linear regression22TimekeySales Sales_last_year Sales_change98-1 1100 -.99-11200110010099-2150014505099-31700135025099-416001700-10099-51800160020099-6150014505099-7130012505099-814001200200SELECT timekey,sales,LAG(sales,12)OVER(ORDER BY timekey)as sales_last_year,(sales-sales_last_year)as sales_ch

18、angeFROM sales举例：使用时间序列函数举例：使用时间序列函数系统使用情况系统使用情况q 数据汇总数据汇总:1亿亿7000万个汇总运算在万个汇总运算在2个小时内完成个小时内完成不需要专门的服务器不需要专门的服务器q 数据访问数据访问:每秒钟每秒钟23到到100个并发查询操作个并发查询操作95%的查询在的查询在1秒钟内完成秒钟内完成24数据仓库系统为法国电信带来的好处数据仓库系统为法国电信带来的好处q 为各个业务部门的用户提供统一的数据视图为各个业务部门的用户提供统一的数据视图 保证数据的一致性和质量保证数据的一致性和质量 提高信息的及时性提高信息的及时性q 整合系统，节省投资整合系统

19、，节省投资 已经将已经将10个系统整合，未来会整合更多的系统个系统整合，未来会整合更多的系统q 比原来的专有系统管理更灵活，升级更容易比原来的专有系统管理更灵活，升级更容易25数据仓库系统为法国电信带来的好处数据仓库系统为法国电信带来的好处q 全面了解客户的使用行为，实现市场细分全面了解客户的使用行为，实现市场细分q 欺诈行为检测欺诈行为检测 建立欺诈模式库建立欺诈模式库 及时检测客户通话行为发生的突然变化及时检测客户通话行为发生的突然变化,运用模式运用模式库进行识别库进行识别 通过预警系统通知相关人员进行调查通过预警系统通知相关人员进行调查26“我们每天装载5亿条话单.Oracle数据仓库在

20、实际使用中已经被证明非常稳定、可靠和具有扩展性 Jean-Luc CochennecFrance Telecom27“从Winter Corporation最近的数据库可伸缩性调查发现，法国电信的数据仓库系统无论是从数据库规模和记录数方面，都是世界上单一数据库中最大的。”Richard Winter,March 2019“Field Experience with Large Scale Data Warehousing on Oracle”28新西兰电信数据仓库新西兰电信数据仓库29新西兰电信简介新西兰电信简介q 新西兰最大的综合电信运营商新西兰最大的综合电信运营商在在新西兰新西兰和和澳洲澳

21、洲拥有拥有210万用户万用户员工数为员工数为6900多名多名总资产总资产83亿新西兰元亿新西兰元年收入年收入55亿新西兰元亿新西兰元q 业务范围：业务范围：市话、长途、移动、互联网、宽带、增值业务市话、长途、移动、互联网、宽带、增值业务30项目建设背景项目建设背景q 电信市场变化电信市场变化开放的电信市场开放的电信市场日益增多的竞争对手日益增多的竞争对手q 公司战略转变公司战略转变从从扩大用户群扩大用户群转转变为提高现有用户对企业的贡献度变为提高现有用户对企业的贡献度从大规模营销转向目标市场营销从大规模营销转向目标市场营销31Multiple Legacy Application System

22、sSame customer held in multiplelocations in different formats.原有系统的状况原有系统的状况q 各个系统各个系统采用不同平台采用不同平台q 缺乏数据标准缺乏数据标准q 数据采集和集成困难数据采集和集成困难q 多个系统中冗余的数据多个系统中冗余的数据32数据仓库项目概况数据仓库项目概况PROBEPROactive Business Enablerq从从2019年年6月开始建设，月开始建设，2019年建成上线年建成上线q到到2019年为止，开发了年为止，开发了50多个主题：多个主题：客户客户,产品产品,收入收入,通话行为通话行为,市场营销

23、市场营销,缴费缴费q用户包括市场部、销售部和财务部等部门用户包括市场部、销售部和财务部等部门1400多人多人33Oracle在项目中的参与情况在项目中的参与情况q2019 2019：设计和建设数据仓库设计和建设数据仓库逐步增加逐步增加50个新的分析应用个新的分析应用q目前：目前：与新西兰电信和与新西兰电信和EDS合作合作实施实施“360 客户视图客户视图”项目项目建立数据仓库与业务系统的实时接口建立数据仓库与业务系统的实时接口实现实时的客户细分实现实时的客户细分34PROBE项目为公司带来的效益有形效益项目为公司带来的效益有形效益q 增增加加收入收入，提高，提高ARPUq 减少客户流失减少客户

24、流失q 提高营销活动的响应率提高营销活动的响应率从从5提高到提高到30q 降低降低营销营销成本成本和服务成本和服务成本35PROBE项目的投资回报项目的投资回报q 目标市场营销目标市场营销每年节省每年节省1200万元万元q“市场赢回市场赢回”计划计划每年增加每年增加800万元万元q 更合理的国际长途收费定价更合理的国际长途收费定价增加收入与节约成本增加收入与节约成本，每年每年700万元万元36PROBE为外部客户服务为外部客户服务q向外部客户出售统计分析结果向外部客户出售统计分析结果Vision：800客户客户按地区、时段、服务类型按地区、时段、服务类型q价格：价格：每月一次：每月一次：25$

25、/月月每周一次：每周一次：85$/月月37议程议程q 项目概况项目概况q 项目实施方法项目实施方法q 数据仓库技术方案数据仓库技术方案38建设原则需求驱动建设原则需求驱动q从多种渠道从多种渠道识别识别客户客户q实现精确营销实现精确营销q提升客户价值提升客户价值业务目标业务目标q获得客户的全业务视图获得客户的全业务视图（固话、移动、数据）（固话、移动、数据）q生成营销客户名单，支生成营销客户名单，支持对活动反馈的收集和分持对活动反馈的收集和分析析q实现客户和市场的细分实现客户和市场的细分项目目标项目目标39建设原则实用性建设原则实用性紧密配合业务部门的市场经营活动紧密配合业务部门的市场经营活动q

26、 客户维系：流失客户名单客户维系：流失客户名单q 营销活动管理：营销活动名单，反馈分析营销活动管理：营销活动名单，反馈分析q 新业务开发：产品定价，关联分析新业务开发：产品定价，关联分析40发展战略发展战略规划规划网络管理网络管理目标市场目标市场营销营销客户满意度客户满意度销售销售财务表现财务表现Customer and Product Information运营效率运营效率制订企业发展战略制订企业发展战略监控其执行情况监控其执行情况Business Intelligence For Telecom 建设方法整体规划，分步实施建设方法整体规划，分步实施 需求预测需求预测能力规划能力规划投资预测

27、投资预测通信能力分析通信能力分析通信质量分析通信质量分析业务覆盖分析业务覆盖分析欺诈检测欺诈检测业务开展业务开展业务使用业务使用供应链分析供应链分析客户流失分析客户流失分析客服中心分析客服中心分析服务质量保证服务质量保证市场细分市场细分响应模型响应模型营销活动营销活动ROI分析分析新产品设计新产品设计价格模型价格模型收入总量及变化收入总量及变化收入结构分析收入结构分析缴缴/欠费分析欠费分析整体规划的实现整体规划的实现q 统一规划：统一规划：数据模型数据模型数据获取策略数据获取策略元数据元数据42确定新增应用的优先级确定新增应用的优先级 效益效益 低低 高高 不可能不可能 下次考虑下次考虑 没有

28、价值没有价值 目标应用目标应用高高 低低成本和风险成本和风险43数据仓库的效益、成本和风险数据仓库的效益、成本和风险严格的投资回报分析严格的投资回报分析q 效益：效益：我们能通过这个项目的实施获得什么？我们能通过这个项目的实施获得什么？有形：增加收入、降低成本有形：增加收入、降低成本无形：工作效率提高、企业更无形：工作效率提高、企业更“智能化智能化”q 成本：成本：为了实现这些收益需要付出什么代价？为了实现这些收益需要付出什么代价？一次性成本一次性成本持续性成本持续性成本q 风险：风险：会遇到哪些障碍？会遇到哪些障碍？44螺旋递增式建设方法螺旋递增式建设方法q 每次迭代目标明确，快速见效每次迭

29、代目标明确，快速见效q 滚动投资，每年追加费用是初始投资的滚动投资，每年追加费用是初始投资的152045应用推广应用推广q 领导带头使用领导带头使用q 设置专职的业务分析员设置专职的业务分析员q 系统使用情况统计系统使用情况统计q 注重对业务人员的培训注重对业务人员的培训46议程议程q 项目概况项目概况q 项目实施方法项目实施方法q 数据仓库技术方案数据仓库技术方案47PROBE 系统架构和数据流系统架构和数据流加载20+内部源系统(12 CPU,3Tb disk)Tape,ftp,DB linkPROBEPROBE外部信息源email,ftp,CDOracle Designer元数据库元数据

30、库Oracle Portal and Discoverer报表Oracle 9iAS抽取OLAP分析和数据挖掘内部系统SQL,andQuery BuilderDB link,ftpftp,CDOracle 9i release 2外部机构48PROBE 数据模型分层设计数据模型分层设计内部和外部信息源加载Staging AreaFeed ControlFeed Control任务调度管理原子层(relational schema)访问层(star/snowflake schema)PROBE数据挖掘和分析SQL,andQuery BuilderOracle PortalOracle Disco

31、verer报表营销管理49PROBE中的数据功能划分中的数据功能划分功能区功能区数据模型数据模型使用者使用者用途用途Staging Area与源数据相似与源数据相似清洗转换的缓冲区清洗转换的缓冲区Atomic Layer（原子层）原子层）10的访问量的访问量关系模型关系模型轻度非规范化轻度非规范化1.专职分析员专职分析员2.营销活动主管营销活动主管自定义分析自定义分析生成市场活动目标客生成市场活动目标客户名单户名单(数据挖掘数据挖掘)Access Layer（访问层）访问层）90的访问量的访问量汇总数据汇总数据维度模型维度模型(星型和星型和雪花型雪花型)客户经理客户经理产品经理产品经理生成统计

32、报表生成统计报表50PROBE项目的演进项目的演进“360 客户视图客户视图”项目项目q EDB消除数据重复消除数据重复和和错误错误集成原有系统客户数据，建集成原有系统客户数据，建立统一的客户视图立统一的客户视图(基于基于Oracle TCA模型模型)q PROBE升级为企业数据仓库升级为企业数据仓库(EDW)实时数据采集和分析结果发实时数据采集和分析结果发布布q 引入引入EAI技术技术NADISPROBEICMSEDBEDWEAILegacy AppsCrossWorlds9iASPortalOracleTCAASBOASBOASBOGBOAPIAPIETLServiceElementMQS

33、eriesJDBCConnectorJDBCConnector51PROBE 新的系统架构新的系统架构门户(EIS)动态查询Oracle Discoverer用户访问Oracle Customers OnlineOracle 11i CRM SuiteEAIICMS 计费系统客户,帐户,地址PROBE群体，关系Staging Area实时维度数据维护EAI Staging AreaEAI Staging Area访问层(star/snowflake schema)原子层(relational schema)联机数据存储联机数据存储(OLTP)OLTP)下游系统访问下游系统访问9iAS52构建闭

34、环的信息流构建闭环的信息流数据仓库数据仓库计费系统(3&9)应用规则计算客户分群(2生成细分规则和黄金问题(1)客户资料/收入/产品样本数据CTI市场营销活动管理(5)制订营销计划(6)目标客户名单(8)更新客户资料(7)客户回答问题呼叫中心黄金问题(4)客户细分结果(4)传递客户细分结果Call HandoffCall Handoff数据挖掘数据挖掘服务器服务器53数据模型的设计方法数据模型的设计方法1.从业务需求出发从业务需求出发2.识别各主题分析所需要的数据识别各主题分析所需要的数据3.数据探索分析数据源的数据质量数据探索分析数据源的数据质量4.找出来自多个系统的公共表统一维护找出来自多

35、个系统的公共表统一维护5.建立原子层数据模型建立原子层数据模型6.模型非规范化模型非规范化7.建立访问层数据模型维度模型建立访问层数据模型维度模型54PROBE中的主题域中的主题域产品产品使用网络事件网元地域帐务参与方客户交互营销55PROBE中的主题分析中的主题分析客户特征客户特征客户细分客户细分销售机会销售机会营销活动营销活动Analysis and Reporting客户客户产品产品营销营销收入收入网络网络产品定购产品定购产品特征产品特征利用率利用率流量流量产品使用产品使用活动响应活动响应支付支付使用量变化使用量变化新客户获取新客户获取客户流失客户流失产品获取产品获取客户收益率客户收益率

36、收入收入收缴收缴质量质量产品流失产品流失客户交互客户交互56典型的应用流程典型的应用流程 客户挽留客户挽留数据仓库数据仓库客户流失预测客户流失预测计算客户价值计算客户价值挽留活动设计挽留活动设计活动效果评估活动效果评估流失客户统计流失客户统计成功挽留分析成功挽留分析自然属性自然属性合同属性合同属性缴费属性缴费属性消费行为消费行为当前价值当前价值潜在价值潜在价值流失因素分析流失因素分析消费行为分析消费行为分析交叉销售分析交叉销售分析57Probe的数据抽取策略的数据抽取策略q 多种数据抽取方式并存多种数据抽取方式并存内部数据源：磁带、内部数据源：磁带、FTP、数据库链路数据库链路外部数据源：外部

37、数据源：email、FTP、CDq 统一管理数据接口统一管理数据接口接口标准接口标准接口双方的责任接口双方的责任实现方式和验证方式实现方式和验证方式q 由完全批量方式向批量由完全批量方式向批量/实时方式结合转变实时方式结合转变58Probe对数据抽取过程的管理对数据抽取过程的管理q 数据抽取流程的自动化数据抽取流程的自动化降低系统管理员的负担降低系统管理员的负担减少出错的可能性减少出错的可能性q 全程监控全程监控出错预警出错预警审计日志审计日志59PROBE对脏数据的处理方法对脏数据的处理方法q 源系统源系统数据探索数据探索q 抽取过程抽取过程全程跟踪全程跟踪q 问题处理问题处理个别现象：可以

38、忽略个别现象：可以忽略普遍现象：立即组织调查，与业务人员研究解决的必要普遍现象：立即组织调查，与业务人员研究解决的必要性和成本性和成本60数据去重数据去重q 客户资料合并客户资料合并家庭家庭集团公司集团公司q 地址清洗地址清洗地址标准化地址标准化补充邮政编码补充邮政编码q 成果：成果：减少重复邮件数目减少重复邮件数目降低每封邮件费用降低每封邮件费用61PROBE的元数据管理方案的元数据管理方案q 明确元数据管理范围明确元数据管理范围技术元数据技术元数据业务元数据业务元数据q 元数据发布元数据发布让业务人员理解元数据让业务人员理解元数据维度定义、公式定义维度定义、公式定义以以报表报表形式形式在在网网上发布上发布62AQ&