资料仓储的OLAP操作方法课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《资料仓储的OLAP操作方法课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 资料 仓储 OLAP 操作方法 课件
- 资源描述:
-
1、2022/12/26Data Mining1Chapter 2 資料探勘中的資料倉儲和OLAP技術 從交易性資料交易性資料到分析用資料分析用資料2022/12/26Data Mining2操作型資料庫系統q 在業界廣為應用的資料庫軟體,常用到的功能不外乎為執行線上交易或是查詢處理線上交易或是查詢處理,因而也稱為線上交易處理系統(On-Line Transaction Processing,OLTP)q 線上交易處理系統,最主要在提供企業平日的所有交易紀錄之存取,因此,其資料庫又稱為操作型資料庫(Operational Database)2022/12/26Data Mining3 何謂資料倉儲
2、何謂資料倉儲(1/3)q資料倉儲(data warehouse)乃是利用儲存大大量歷史資料量歷史資料之資料庫,提供彙總或是統計的資彙總或是統計的資訊訊,以支援決策支援決策之使用。n例一:在賣場超市透過收銀機的條碼掃描,客戶購買的每一種商品都會記錄到資料庫之中,但是傳統資料庫的設計,並不能有效地回答經營者所關心的問題。例如商品甲銷售量的增加,是否會同時帶動商品乙的銷售?用那一種商品來促銷,最能提振業績?2022/12/26Data Mining4何謂資料倉儲何謂資料倉儲(2/3)n例二:亞瑪遜網站每當客戶購買一本書,它就主動推薦其他相關書籍供客戶參考,所推薦的書籍是根據過去許許多多客戶購買書籍的
3、交易資料裡,探勘出那些書籍是具有強烈的關連性。這種推薦是由電腦在資料倉儲資料倉儲內經資料探勘資料探勘所挖掘出來的,可以完全自動處理,不須假手人工,不過先決條件就是必須先建立好資料倉儲與資料探勘等系統。2022/12/26Data Mining5何謂資料倉儲何謂資料倉儲(3/3)n 目前企業大都面臨到一個問題,就是現行營運用的電腦系統並不是針對資料探勘分析資料探勘分析而設計的,因此當上級需要一些決策的資訊時,資訊部門常常無法即時提供相關的資訊,協助主管做有效的決策判斷。n 資料倉儲的誕生就是為了回答主管所關切的決策問題回答主管所關切的決策問題,建置過程建置過程首先從各分公司或是分店收集資料,經過
4、資料清理(例如:去掉不需要的瑣碎資料、補足缺失的資料等)、資料轉換(例如:轉換成一致單位或是格式)、資料整合(例如:整合不同來源的資料)、資料載入(例如建立資料立方體:data cube)和定期資料更新,最後建置一套資料倉儲系統。6 資料倉儲的建置過程資料倉儲的建置過程 資料倉儲的建置過程:收集資料收集資料 資料整理資料整理 資料整合資料整合 資料載入和資料載入和定期資料更新定期資料更新2022/12/26Data Mining7資料來源資料來源n資料倉儲的資料來源是由日常運作的資料庫系統所收集而來,例如:賣場或是連鎖店的每一筆交易資料賣場或是連鎖店的每一筆交易資料 電子商務網站所記錄的交易資
5、料電子商務網站所記錄的交易資料 信用卡銀行記錄持卡人的消費行為信用卡銀行記錄持卡人的消費行為 人力資源網站記錄媒介結果人力資源網站記錄媒介結果 入口網站記錄瀏覽路徑、畫面、停留時間入口網站記錄瀏覽路徑、畫面、停留時間 電話公司記錄通話的型態與時間電話公司記錄通話的型態與時間 網路學習網站收集學習者的學習行為網路學習網站收集學習者的學習行為2022/12/26Data Mining8 線上分析處理與資料探勘線上分析處理與資料探勘(1/2)n 資料倉儲基本上只是一個存放大量彙總資料的後端儲存體,還必須配合前端的運用配合前端的運用才能顯示出它的價值,而線上分析處理(OLAP:On-Line Anal
6、ytical Processing)與資料探勘(data mining)則是兩個最常使用的應用。n 線上分析處理可將資料倉儲的資料加以整理、彙總。使用者有資訊上的需求時,不需撰寫程式,就能夠以不同的主題和角度不同的主題和角度,經由線上分析處理的瀏覽工具快速查出各種資料。2022/12/26Data Mining9線上分析處理與資料探勘線上分析處理與資料探勘(2/2)n資料探勘與線上分析處理的不同之處,在於線上分析處理主要是原原本本的呈現出使用者查詢的結果,而結果的解讀將由使用者自行加以判斷。n資料探勘則能夠更進一步利用統計、機器學習等方法將資料再分析,探勘出新且有用的知識,在資料的運用上更勝於
7、線上分析處理。2022/12/26Data Mining10線上分析處理與資料探勘的不同點線上分析處理與資料探勘的不同點線上分析處理資料探勘多少人曾購買筆記型電腦?多少人曾購買筆記型電腦?哪些顧客可能會購買筆記型電腦?哪些顧客可能會購買筆記型電腦?上個月有多少顧客沒有進入網站瀏覽商品?上個月有多少顧客沒有進入網站瀏覽商品?哪些顧客較有可能在未來三個月內不上站瀏覽哪些顧客較有可能在未來三個月內不上站瀏覽商品?商品?顧客的平均單月消費總金額是多少?顧客的平均單月消費總金額是多少?哪些顧客下個月的消費有可能會超過一萬元?哪些顧客下個月的消費有可能會超過一萬元?哪些顧客訂單超過三天未付款?哪些顧客訂單
8、超過三天未付款?哪些顧客較有可能延遲付款?哪些顧客較有可能延遲付款?電子報的點閱率多少?電子報的點閱率多少?電子報行銷方式對那些會員較有效?電子報行銷方式對那些會員較有效?去年的銷售業績統計報表去年的銷售業績統計報表明年預期之銷售業績額度。明年預期之銷售業績額度。2022/12/26Data Mining11從資料倉儲到資料探勘線上分析處理(OLAP)資料探勘廣告郵件顧客回覆率廣告郵件顧客回覆率哪些顧客較容易回覆公司廣告郵件哪些顧客較容易回覆公司廣告郵件新產品的客戶銷售量新產品的客戶銷售量何種類型的客戶較有傾向購買新產品何種類型的客戶較有傾向購買新產品公司年度十大客戶公司年度十大客戶公司年度獲
9、利最高十大客戶公司年度獲利最高十大客戶哪些客戶未續約哪些客戶未續約哪些客戶可能在三個月內不再續約哪些客戶可能在三個月內不再續約哪些客戶貸款逾期未還哪些客戶貸款逾期未還貸款逾期未還的客戶屬性貸款逾期未還的客戶屬性前一季的地區銷售報告前一季的地區銷售報告下一季各地區可能的銷售收入下一季各地區可能的銷售收入上週生產線的不良率上週生產線的不良率如何提昇產品的良率如何提昇產品的良率2022/12/26Data Mining12 相關名詞定義相關名詞定義n 資料集合資料集合(data set)(data set)、資料表、資料表(table)(table):資料集合通常是指收集並儲存於資料庫或資料倉儲中的
10、資料,而為了更容易存取這些資料,資料庫或資料倉儲通常會利用各個資料表來記錄各種層面的資料。例如會員資料表用來記錄會員的基本資料。n 資料維度資料維度(dimension)(dimension):資料集合會利用有限的屬性或特徵(attribute)來描述所包含的資料,稱之為資料維度。例如:會員資料表通常會記錄會員的姓名、電話、地址、生日、教育程度等等,來描述每一個會員,因此姓名、電話、地址、生日、教育程度即是會員資料表的資料維度。2022/12/26Data Mining13相關名詞定義相關名詞定義n 資料數值資料數值(value)(value):每一資料維度會有一相對應的值域(domain),
11、而值域中所有可能的值即所謂的資料數值。例如:教育程度此資料維度中所可能包含之資料數值為國中以下、國中、高中/職、大學/大專和研究所。n 資料紀錄資料紀錄(record)(record):根據資料維度所描述之每一資料數值的集合。2022/12/26Data Mining14資料倉儲的特性資料倉儲的特性 整合的資料整合的資料:將不同來源的資料以一致的命名方式、度量單位、統一格式等加以整合儲存,以利未來使用者的存取。例如將所有的日期資料都轉成使用單一的格式;意義相同,但來源不同的資料,可能使用不同的名稱、度量,在輸入到資料倉儲之前就需先加以統一。主題導向的資料主題導向的資料:在將資料轉移至資料倉儲時
12、,就必須將未來分析時所不需要的資料濾除將未來分析時所不需要的資料濾除,使資料倉儲只存放與分析主題相關的資料。2022/12/26Data Mining15資料倉儲的特性資料倉儲的特性歷史性資料歷史性資料:資料倉儲主要是提供過去某個時期的運作狀態,例如過去三年、五年,或是最近半年的銷售金額、獲利率等資訊,藉此分析、幫助決策,決定未來企業應採取的策略。唯讀的資料唯讀的資料:當我們將資料轉移到資料倉儲後,應當就不需再做什麼變動,除非是輸入錯誤的資料。由於存放的是歷史性的資料,所以不需更新,頂多只需定期加入新資料,或是移出部分老舊的資料。所以資料倉儲主要是在提供資料快速彙總與查詢的功能,而不在於資料修
13、改的功能。2022/12/26Data Mining16資料倉儲與一般資料庫的差異資料倉儲與一般資料庫的差異 資料倉儲典型的代表就是 OLAP 系統,一般資料庫最佳的代表就是 OLTP(On-Line Transaction Processing)。2022/12/26Data Mining17 OLTP 與 OLAP 特性比較 比較特性OLTP系統特性OLAP系統特性功能需求針對企業現行業務的自動化而設計針對企業資料分析需求而設計資料類別資料比較偏重細節資料偏重彙總或是統計資訊異動頻率資料隨時可被新增、刪除以及變更歷史性的資料,異動機會少設計方式資料庫設計採用正規化設計為了執行效率不採用正規
14、設計儲存方式使用關聯式資料庫架構存資料使用多維度資料庫結構完整性資料未整理過,可能缺失或是不一致資料經過整理較一致、完整2022/12/26Data Mining18資料倉儲的種類資料倉儲的種類 (1/2)(1/2)資料倉儲:資料倉儲:這是一般典型的資料倉儲解決方案,首先分析未來決策支援的需求,所有的資料依照需求而加以整理、轉換至資料倉儲之中。建置方式是以整個公司的需求來建構的,以便讓決策者能從資料倉儲中取得所有決策資訊,像是公司整體的業績、各分店的績效等等。資料超市(資料超市(data mart):):通常是指規模較小、只針對某些特定主題或是部門而設計的資料倉儲。2022/12/26Data
15、 Mining19資料倉儲的種類資料倉儲的種類 (2/2)(2/2)多層次資料倉儲:多層次資料倉儲:指的是前面兩者組合的一種應用方式,最上層的資料倉儲將資料提供給下層的資料超市,資料倉儲的組織有層次架構。聯合式資料倉儲:聯合式資料倉儲:指的是整個資料倉儲系統是由多個獨立的資料倉儲、資料超市或是多層次資料倉儲組合完成,但是能夠提供單一的介面供使用者使用,使用者不需知道資料究竟來自那一個資料倉儲。Virtual Data Warehouse2022/12/26Data Mining20 資料倉儲的儲存架構資料倉儲的儲存架構一般常用的儲存架構在邏輯設計上稱為多維度資料庫結構(multidimensi
16、onal database structure),但是實際的儲存實體結構可以是關聯式資料庫,或是【多維度資料立方體多維度資料立方體】(multidimensional data cube),或是兩者混合的結構。存放在多維度資料庫結構的資料稱為【資料立方體資料立方體】(data cube),它是由【維度維度】(dimensions)與【事實事實】(facts)組合而成。資料立方體提供了資料的多維度觀察,並允許事先計算好彙總值以便將來快速存取彙總的資料。2022/12/26Data Mining21資料立方體的呈現方式 年度年度(z軸軸)2004筆記型2003IBM伺服器型Acer款式款式(y軸軸
17、)廠牌廠牌 (x(x軸軸)桌上型年度和廠牌年度和廠牌 年度和款式年度和款式廠牌和款式廠牌和款式加總加總cell2022/12/26Data Mining22 範例一範例一n假設有一購物網站已經建置一個資料倉儲系統,主要作為銷售金額的分析 資料時間時間範圍從 2001 2003 總共三年。將全省客戶依照地理區域地理區域分為北、中、南三區,北部包含台北、桃園與新竹;中部包含台中、彰化與南投;南部包含嘉義、台南與高雄。販售商品商品分成食品、五金、服飾三大類,食品類又分成肉類、餅乾、罐頭三小類;五金再分成汽車、建材、衛浴三小類;服飾類又分成女裝、男裝、童裝三小類。2022/12/26Data Mini
展开阅读全文