数据仓库(Teradata)课件.ppt

1、Teradata数据仓库Dr. Zhang JianSenior Technical ConsultantTD China, Apr., 2009公司介绍NCR公司介绍 创建于1884年，120年历史 包括三大部门数据仓库事业部 / Teradata金融服务 / ATM零售服务 / POS 年收入$60+亿 全球员工33,000人 美国财富500强厂商，纽约证券交易所上市公司Teradata 公司介绍 Teradata 公司 2007年10月1日正式从NCR分拆 全球企业级数据仓库的领导企业 企业级数据仓库领导企业 数据分析解决方案 咨询服务 1999年来一直被Gartner定位在数据仓库领导

2、者象限 数据仓库行业的领导企业 全球40多个国家设有分支机构 客户覆盖全球各个行业的领导企业 2006年营业收入16亿 高性能处理技术 并行环境 速度和可扩展能力Teradata A Brief History1979Teradata Corp founded in Los Angeles, California Development begins on a massively parallel computer1982 YNET technology is patented1984 Teradata markets the first database computer DBC/1012

3、First system purchased by Wells Fargo Bank of California1987 First public offering of stock1989 Teradata and NCR partner on next generation of DBC.1991 NCR Corporation is acquired by AT&T; Teradata revenues at $280 million.1992 Teradata is merged into NCR.1996 AT&T spins off NCR Corp. with Teradata;

4、 Teradata Version 2 is released.1997 The Teradata Database becomes the industry leader in data warehousing.2000 The first 100+ Terabyte system is put into production.2002 Teradata V2R5 released 12/2002; major release including features such as PPI, roles and profiles, multi-value compression, and mo

5、re.2006Teradata V2R6.2 is released; BYNET V3 is available with NCR 5450/5500 systems.2007 NCR and Teradata become two separate corporations. Teradata 12.0 is released in 4th quarter.2008Teradatas first full year as new corporation; 2500/5550 systems are introduced.FORTUNE Global Rankings, July 2007全

6、球前全球前10大大零售商中的零售商中的50%全球前全球前10大大电信公司中的电信公司中的90%全球前全球前10大大运输行业公司中的运输行业公司中的60%全球前全球前10大大航空公司中的航空公司中的70%全球前全球前10大大商业银行中的商业银行中的50%Teradata在全球各个行业的成功案例 领先行业 银行及财务公司 政府 保险行业 制造业 零售业 电信行业 运输行业 旅行业 世界级的客户名单 接近900个客户 超过2000个系统安装业界的领导企业 (Gartner Magic Quadrant for Data Warehouse Database Management Systems)ab

7、ility to executecompleteness of visionniche playersvisionariesDATAllegroGreenplumNetezzaMySQLKognitioSand TechnologySybaseMicrosoftIBMTeradataOracleleaderschallengersAs of September 2007经典数据仓库体系架构什么是数据仓库 “A Data Warehouse is a subject-oriented, integrated, time-variant, nonvolatile collection of dat

8、a in support of managements decision making process” -W.H.Inmon, 1992, Building The Data Warehouse 四点特征 面向主题 集成的（一致性） 时变性 不易失性（稳定性）What is a Data Warehouse?A Data Warehouse is a central, enterprise-wide database that contains information extracted from Operational Data Stores (ODS).Based on enterpri

9、se-wide modelCan begin small but may grow large rapidlyPopulated by extraction/loading data from operational systems Responds to end-user “what if” queriesCan store detailed as well as summary dataOperationalDataData WarehouseExamples of Access ToolsEnd UsersATMPeopleSoft Point of Service (POS)Terad

10、ata DatabaseTeradata Warehouse MinerCognos MicroStrategy 谁是我们最有价值的客户 按在网时间、消费金额、收入、年龄、地域、业务规模. 按产品使用情况 (国内、国际、接线员服务、呼叫卡、全部) 在我们最好的客户中，谁最有可能流失？ 我们的基站有问题吗？ 我们可以将流失模式与用户的家庭关系或一个呼叫频繁的基站对应起来吗？ 按欺诈类型划分的欺诈模式？ 我们的网络使用峰值占总使用的百分比？ 我们应该向谁推销新产品或服务？ 那些客户我们应该让给我们的竞争对手？ 针对一个选定的用户群体，最赢利的产品/服务组合是什么？ 吸引某一类用户的最恰当的消息、媒

11、体、和渠道是什么？使你能够轻松回答下列业务问题使你能够轻松回答下列业务问题Teradata电信业cLDM的商业价值技术需求技术需求 大数据量 高数据吞吐能力 高可扩展性 查询复杂度高 迅速的查询响应 高并发度 7x24的支撑 直接访问 数据质量业务驱动业务驱动 数据仓库应用往往需要访问历史数据 数据仓库应用的并发度往往更多 数据仓库应用往往不会面向某些固定应用，而是要满足用户随机查询的要求 数据仓库应用的响应时间可以比较长，往往不会像传统的交易应用一样要求在秒级完成DW的现状的现状数据仓库日益成为数据仓库日益成为企业的核心业务系企业的核心业务系统，支撑企业的关统，支撑企业的关键应用键应用数据仓

12、库的发展趋势及技术要求Teradata典型数据仓库系统框架企业企业 数据仓库数据仓库 从属数据集市从属数据集市 业务人员业务人员 IT 用户用户数据导入数据导入 析取清洗 条件 剔除家庭关系 加载 知识发现知识发现 数据挖掘数据挖掘 信息存取信息存取 工具工具源数据源数据 数据采集数据存储/管理信息访问IT UsersBusiness Users业务系统 业务系统 业务数据 外部数据 关系数据库管理系统聚集 统计 人工智能 神经网络 多维 可视化 EIS/DSS 电子表 对象语言 开发 网络管理网络管理数据库管理数据库管理 系统管理系统管理元数据元数据 逻辑数据模型逻辑数据模型 物理数据库设计

13、物理数据库设计 数据字典数据字典业务和技术咨询与培训服务业务和技术咨询与培训服务数据仓库系统的体系结构数据仓库系统的体系结构抽取传输清洗转换加载规划设计营销管理分析收益情况分析业务情况分析市场竞争分析合作服务方分析客户情况分析服务质量分析客户流失预测竞争对手分析潜在大客户本地网系统本地网系统省级系统省级系统数据源ETL数据存储信息展现数据准备信息访问系统用户财务事件产品营销客户位置网络企企业业门门户户Web Portal企业领导部门经理分析人员客户经理社区经理业务主管元数据、系统管理、系统监控元数据、系统管理、系统监控ThePost外部数据地市公司地市公司省公司省公司AT&T 加载系统数据清洗

14、转换加载文本文件营业97结算计费帐务其他数据源面向业务流程3NF物理数据集市最终用户LDM逻辑数据模型逻辑数据模型详细交易数据面向主题3NFPDM面向分析主题汇总数据模型Star Schema 建模虚拟数据集市数据仓库平台数据仓库平台AT&T 通信服务器数据转换压缩/传输文本文件标准数据接口标准数据接口数据仓库系统中的数据流数据仓库系统中的数据流Teradata电信业cLDM关联 /被关联关联 /被关联服务通过网络实现 /网络支持服务网络产生事件 /事件包括网络类服务被销售给客户 /参与人使用和管理服务财务产生事件 /事件包含财务类参与人产生和经历事件 /事件包括参与人的产品产生事件 /事件包

15、括产品类广告产生事件事件实现广告广告被锁定位置 /位置定位广告针对特定产品 /产品通过广告实现营销为参与人建立帐户、帐单 /记录帐户、成本和付款服务使用的财务信息 /财务记录产品的成本和付款定位网络/网络支持的位置广告的目标针对参与人 /参与人是广告的受众包括消费者和运营商在内/ 位置定位EVENT（事件（事件）FINANCE（财务）（财务）NETWORK（网络）（网络）OFFER（服务）（服务）ADVERTISEMENT（广告）（广告）LOCATION（位置）（位置）PARTY（参与人（参与人）cLDM 核心主题n PartyParty参与人参与人在业务关系层面，跟踪所有人、商业单位、团体及

16、其关联者，详细的关于评分、分段、奖励、渠道、Web Site、隐私信息、特征信息等n OfferOffer服务服务在消费层面，跟踪所有产品、服务，将分解神秘的产品结构分解到最低层面，如合同、产品结构、产品关联物、促销、购买交易、用户定购等n NetworkNetwork网络网络跟踪如何、什么时间，客户使用了一项产品或服务，并提供关于提供这些服务的物理设备的信息n LocationLocation地址地址跟踪客户与通信资产的物理、地理关系，包括两个层面：地址、特征n FinanceFinance财务财务跟踪关于发票账户、付费账户、计费、收入、付费、成本等方面的财务信息AdvertisementA

17、dvertisement广告广告允许用户跟踪营销活动成果，支持制定营销获得战略，客户联系列表、市场调查等EventEvent事件事件跟踪与客户交互的重要活动，包括影响客户与运营商关系的内部、外部事件中央数据库OLAP服务器WEB服务器AT&T A T & T 数据挖掘服务器前端展现工具胖客户端浏览器用户瘦客户端数据挖掘客户端应用服务器ETL服务器管理工作站核心业务系统OS 390/DB2其他业务系统NT/OracleWin2K/UNIXTeraBuilderETL Auto ServicesFload Mload FexportTPumpAccess ModuleTD ManagerDBQMM

18、DSETL Auto AdminETL Auto MonitorMPP ServerTeradata V2R5Win2KSAS Enterprise MinerSAS EMClientMS AS/CognosW2KQueryManBrio DesignerW2KIISBrio PortalOneW2K/UNIXBrio ODSBrio BDSW2KBrowser典型的数据仓库体系架构Teradata数据仓库技术框架20对数据仓库平台的基本要求假设一个客户平均每天假设一个客户平均每天8 8个电话个电话( (双向双向) )每个每个CDR 230CDR 230个字节，如果保存个字节，如果保存6 6个

19、月个月CDRCDR进行分析，则每进行分析，则每100100万客户的原始数据为：万客户的原始数据为：1,000,0001,000,000X8X230X6X30=331(GB)X8X230X6X30=331(GB)数据仓库磁盘容量（数据仓库磁盘容量（RAID 1RAID 1）为约）为约1.21.2TB!TB!客户数原始数据数据仓库磁盘容量(RAID 1)数据仓库磁盘容量(RAID 5)200万1400GB5040GB3400GB600万4250GB15300GB10200GB1200万8500GB30600GB20400GB中国移动的实例中国移动的实例: :21强大的并行处理能力 数据仓库是分析性

20、的应用 动态随机查询，无法预定索引 复杂查询(多表连接，合计，大表搜索) 并发用户对数据仓库平台的基本要求Teradata MPP 体系架构 Teradata BYNET 互联 完全线性扩展的带宽 节点 可线性扩展到1024个节点 Windows/Unix/Linux 存储 独立I/O 按节点进行扩展 连接 完全线性扩展 通道连接 ESCON/FICON LAN, WAN 服务器管理 一个控制台来管理和监控整个系统SMP 节点节点1SMP 节点节点2SMP 节点节点3SMP 节点节点4CPU1CPU2CPU1CPU2CPU1CPU2CPU1CPU2双路双路Teradata BYNET互联互联内

21、存内存内存内存内存内存内存内存服务器管理CPU(s)CPU(s)CPU(s)CPU(s)CPU(s)CPU(s)CPU(s)CPU(s)缓存缓存缓存缓存缓存缓存缓存缓存缓存缓存缓存缓存缓存缓存缓存缓存内存内存内存内存内存内存内存内存内存内存内存内存内存内存内存内存磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储磁盘存储BYNETTeradata采用采用Shared-Nothing的的MPP架构架构 为线性扩展而设计的体系架构 为大数量、高速的磁盘访问进行优化 出色的大数量操作的访问能力体系架构决定可扩展性各个节点之间的互联

22、采用各个节点之间的互联采用数据库消息，而不是共享数据库消息，而不是共享I/O或者内存或者内存所有的内存访问都是本地所有的内存访问都是本地CPU到磁盘使用独立的到磁盘使用独立的I/O路径路径AMP4的数据AMP3的数据AMP2的数据Teradata并行的基础每每个个并并行行单单元元只只管管理理自自己己的的数数据据Building IndexesBackup & RecoveryRow LockingTransactionJournalizingSortingReading WritingLoadingAggregatingAMPAMPAMPAMP1的数据AMP1BYNET10,000,000条记

23、录250,000条记录x 40 x 40250,000条记录250,000条记录250,000条记录体系架构决定可扩展性大大SMP/NUMA 为了OLTP系统设计 为交易型事务而优化 随着CPU个数的增加和数据访问的增加，资源冲突将会非常严重。内存内存缓存缓存缓存缓存CPU(s)内存内存缓存缓存CPU(s)CPU(s)内存内存SPEEDLIMIT55 磁盘存储磁盘存储CPU(s)缓存缓存内存内存磁盘存储磁盘存储CPU(s)缓存缓存内存内存磁盘存储磁盘存储CPU(s)缓存缓存内存内存磁盘存储磁盘存储CPU(s)缓存缓存内存内存磁盘存储磁盘存储CPU(s)缓存缓存内存内存磁盘存储磁盘存储CPU(s

24、)缓存缓存内存内存磁盘存储磁盘存储CPU(s)缓存缓存内存内存磁盘存储磁盘存储CPU(s)缓存缓存内存内存磁盘存储磁盘存储BYNETCPUs 经常需要通过互联经常需要通过互联访问远程的内存访问远程的内存CPU通过互联总线访问共通过互联总线访问共享的磁盘享的磁盘Teradata Shared-Nothing的的MPP架构架构 为线性扩展而设计的体系架构 为大数量、高速的磁盘访问进行优化 出色的大数量操作的访问能力BYNET高速互连节点网络点点对对点点信信息息传传输输信信息息广广播播可扩展到512个节点硬件实现信息传输提供点到点和广播传输方式NodeNodeNodeNodeBYNETNode所有任

25、务都并行执行所有任务都并行执行Session ASession BSession CSession DSession ESession FPEPEPETask 1Task 2Task 3.80AMP 1AMP 4AMP 3AMP 2BYNETTask 1Task 2Task 3.80Task 1Task 2Task 3.80Task 1Task 2Task 3.80每个每个PE可以处理可以处理120个并个并发连接发连接.每个连接可以处理同多个每个连接可以处理同多个查询请求查询请求.BYNET可以并行处理多种可以并行处理多种信息信息.每个每个AMP可以并行处理可以并行处理80个任务个任务.所有所

26、有AMP可以并行处理任可以并行处理任何数据库操作何数据库操作.AMP(Access Module Processor)：存取模块处理器PE (Parsing Engine):分解引擎Teradata的并行机制的并行机制AMPsLogsLocksBuffersI/OShared Nothing 完全并行与线性扩展能完全并行与线性扩展能力的基础力的基础 Teradata完全并行与线性扩展能力的基础保证完全并行与线性扩展能力的基础保证 每个每个AMP拥有拥有/管理相同的硬盘分区管理相同的硬盘分区 只有该只有该AMP可以读取对应的硬盘分区可以读取对应的硬盘分区 对任何操作没有集中的单一控制点对任何操作

27、没有集中的单一控制点 I/O, Buffers, Locking, Logging, Dictionary 无集中控制无集中控制Teradata 数据库机制Teradata 数据存储机制说明说明:Parsing Engine 分发插入数据的请求分发插入数据的请求.Message Passing Layer 保证记录到保证记录到相应的相应的 AMP (Access Module Processor)去去.AMP 存储相应的记录到相应的行存储相应的记录到相应的行AMP 管理一个逻辑的（虚拟的）磁盘管理一个逻辑的（虚拟的）磁盘，这些磁盘被映射到相应的物理磁盘，这些磁盘被映射到相应的物理磁盘去。去。T

28、eradataAMP 4AMP 3AMP 1AMP 2Parsing Engine(s)Message Passing Layer1825441129075803266725记录以随机的次序从客户端送过来记录以随机的次序从客户端送过来2326712906547518258041Teradata 数据存储机制Table A rowsTable B rowsAMPAMPAMPAMP每个表的记录均匀的分布在各个每个表的记录均匀的分布在各个AMP上上每个每个AMP负责每张表的一部分记录负责每张表的一部分记录均衡的存储每张表意味着均衡的存储每张表意味着Primary Index决定每张表是否均匀的分布在

29、每个决定每张表是否均匀的分布在每个AMP上。上。UPI 访问一个访问一个AMP，读取一条记录，读取一条记录CREATE TABLE sample_1(col_aINTEGER,col_bINTEGER,col_cINTEGER)UNIQUE PRIMARY INDEX (col_b);SELECT col_a,col_b,col_cFROMsample_1WHERE col_b = 345;PEHashingAlgorithmAMPUPI = 345AMPAMPcol_a col_bcol_c123234col_a col_bcol_c345456col_a col_bcol_c567678P

30、rimary Index 主索引数据访问数据分布 （UPI）AMPAMPAMPAMP o_#c_#o_dto_st 720224/09C 741514/13C o_#c_#o_dto_st 732524/13O 710314/10O 740234/16C o_#c_#o_dto_st 718814/13C 722524/15C o_#c_#o_dto_st 732434/13O 738414/12COrderNum berCustom erNum berOrderDateOrderStatusPKUPI7325732474157103722573847402718872022311213124

31、/134/134/134/104/154/124/164/134/09OOCOCCCCCOrder多张表在多个AMP上的分布EMPLOYEE RowsDEPARTMENT RowsJOB RowsEMPLOYEE TableDEPARTMENT TableJOB TableParsing EngineAMP #1AMP #2AMP #3AMP #4Message Passing Layer说明说明:每个每个AMP上都可以找到每个表的的上都可以找到每个表的的一部分记录一部分记录理想情况下，每个理想情况下，每个AMP保存基本相保存基本相等的记录条数等的记录条数EMPLOYEE RowsDEPART

32、MENT RowsJOB RowsEMPLOYEE RowsDEPARTMENT RowsJOB RowsEMPLOYEE RowsDEPARTMENT RowsJOB Rows线性增长和可扩展性AMPAMPParsingEngineAMPSESSIONSPARALLEL PROCESSINGDATADiskDiskDiskParsingEngineParsingEngineNotes:Teradata 线性增长的线性增长的RDBMS.组件可以依照需要来增加组件可以依照需要来增加.线性增长保证了在负载增加的时线性增长保证了在负载增加的时候性能并不降低。候性能并不降低。USERSAMPsDATA

33、PerformanceSameSameSameSameDoubleDoubleSameSameSameDoubleDoubleSameSameDoubleSameDouble次索引 (USI)数据访问CREATE UNIQUE INDEX (Cust) ON Customer;SELECT *FROM CustomerWHERE Cust = 56;Create USIAccess via USIHashing AlgorithmUSI Value = 56PETable ID100Row Hash778Unique Val7AMP 1AMP 2AMP 3AMP 4Base TableBase

34、 TableBase TableBase TableRowID Cust Name PhoneUSINUPI471, 145 Adams 444-6666555, 698 Brown 333-9999717, 272 Adams 666-7777884, 174 Smith555-6666RowID Cust Name PhoneUSINUPI147, 149 Smith111-6666147, 212 Young 777-4444388, 127 Jones 222-8888822, 162 Black444-5555RowID Cust Name PhoneUSINUPI107, 137

35、White555-4444536, 584 Rice666-5555638, 131 Adams 111-2222640, 140 Smith222-3333RowID Cust Name PhoneUSINUPI639, 177 Jones 777-6666778, 395 Peters 555-7777778, 756 Smith555-7777915, 951 Marsh 888-2222USI SubtableUSI SubtableUSI SubtableUSI SubtableRowID Cust RowID244, 174884, 1505, 177639, 1744, 4519

36、15, 9757, 127388, 1RowID Cust RowID135, 198555, 6296, 184536, 5602, 156778, 7969, 149147, 1RowID Cust RowID288, 131638, 1339, 140640, 1372, 245471, 1588, 195778, 3RowID Cust RowID175, 137107, 1489, 172717, 2838, 412147, 2919, 162822, 1Message Passing LayerAMP 1AMP 2AMP 3AMP 4Message Passing LayerCus

37、tomer Table ID = 100Table IDRow HashUSI Value10060256to MPL非唯一次索引 (NUSI) 数据访问CREATE INDEX (Name) ON Customer;SELECT *FROMCustomerWHERE Name = Adams;Create NUSIAccess via NUSIHashing AlgorithmNUSI Value = AdamsPEMessage Passing LayerAMP 1AMP 2AMP 3AMP 4Customer Table ID = 100Table IDRow Hash NUSI Val

38、ue100567Adamsto MPLNUSI SubtableNUSI SubtableNUSI SubtableNUSI SubtableRowID NameRowID432, 8Smith640, 1448, 1White107, 1567, 3Adams638, 1656, 1Rice536, 5RowIDNameRowID432, 1Smith147, 1448, 4Black822, 1567, 6Jones338, 1770, 1Young147, 2RowIDNameRowID155, 1Marsh915, 9396, 1Peters778, 3432, 5Smith778,

39、7567, 1Jones639, 1RowID NameRowID432, 3Smith884, 1567, 2Adams471, 1 717, 2852, 1Brown555, 6AMP 1AMP 2AMP 3AMP 4Base TableBase TableBase TableBase TableRowID Cust Name Phone NUSI NUPI471, 145 Adams 444-6666555, 698 Brown 333-9999717, 272 Adams 666-7777884, 174 Smith555-6666RowID Cust Name Phone NUSIN

40、UPI147, 149 Smith111-6666147, 212 Young 777-4444388, 127 Jones 222-8888822, 162 Black444-5555RowID Cust Name Phone NUSI NUPI107, 137 White555-4444536, 584 Rice666-5555638, 131 Adams 111-2222640, 140 Smith222-3333RowID Cust Name Phone NUSI NUPI639, 177 Jones 777-6666778, 395 Peters 555-7777778, 756 S

41、mith555-7777915, 951 Marsh 888-2222每种访问技术的比较Hashing AlgorithmPrimary IndexValueOne AMP OperationBaseTableHashing AlgorithmUnique SecondaryIndex ValueTwo AMP OperationBaseTableUSISubtableHashing AlgorithmNon-Unique SecondaryIndex ValueAll AMP OperationBaseTableNUSISubtable无索引技术的数据访问全表扫描全表扫描并行的读取每个并行的

42、读取每个AMP上的数据上的数据全表扫描出现在下列情况下：全表扫描出现在下列情况下：Cust_IDCust_NameCust_PhoneUSINUPICustomerSELECT * FROM Customer WHERE Cust_Phone LIKE 524-_ _ _ _;SELECT * FROM Customer WHERE Cust_Name = Davis;SELECT * FROM Customer WHERE Cust_ID 1000;分区索引Partitioned Primary Indexes (PPI)V2R5的新的索引机制在各个AMP上将数据组织为多个分区作为Terad

43、ata的第三级数据组织和分布技术对于分区字段上的查询，会大大的提高查询的效率避免了全表扫描CREATE SET TABLE Employee (Order_Number INTEGER , O_Date Date )PRIMARY INDEX (Order_Number)PARTITION BY O_Date ;PPI的例子4 AMPs，在，在O_Date上上定义了定义了 PPIRHO_#O_DateRHO_#O_DateRHO_#O_DateRHO_#O_Date35100702/0926100202/0924100402/0920100502/0939101102/0936101202/0

44、932100302/0943101002/0914100102/0906100902/0904100802/0908100602/0903101602/1017101302/1048102302/1007101702/1016102102/1045101502/1009101802/1027101402/1044102202/1002102402/1011101902/1022102002/1001102802/1112103102/1128103202/1110103402/1129103302/1134102902/1119102502/1140103502/1147102702/1125

45、103602/1131102602/1146103002/1123104002/1230103802/1242104702/1213103702/1221104502/1236104302/1205104802/1215104202/1233103902/1218104102/1238104602/1241104402/12SELECT WHERE O_Date BETWEEN 2002-11-01 AND 2002-11-30; 4 AMPs无无PPI01102802/1112103102/1128103202/1110103402/1129103302/1134102902/1119102

46、502/1140103502/1147102702/1125103602/1131102602/1146103002/1103101602/1017101302/1048102302/1007101702/1016102102/1045101502/1009101802/1027101402/1044102202/1002102402/1011101902/1022102002/1014100102/0935100702/0939101102/0906100902/0926100202/0936101202/0904100802/0924100402/0932100302/0908100602/0920100502/0943101002/0923104002/1230103802/1242104702/1213103702/1221104502/1236104302/1205104802/1215104202/1233103902/1218104102/1238104602/1241104402/12RHO_#O_DateRHO_#O_DateRHO_#O_DateRHO_#O_Date 谢谢 谢谢 ！