隨著The Data Warehouse Toolkit(1996)第1版的出版發(fā)行，Ralph Kimball為整個(gè)行業(yè)引入了維度建模技術(shù)。從此，維度建模成為一種被廣泛接受的表達(dá)數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能(DW/BI)系統(tǒng)中數(shù)據(jù)的方法。該經(jīng)典書籍被認(rèn)為是維度建模技術(shù)、模式和最佳實(shí)踐的權(quán)威資源。

這本《數(shù)據(jù)倉(cāng)庫(kù)工具箱(第3版)——維度建模權(quán)威指南》匯集了到目前為止最全面的維度建模技術(shù)。本書采用新的思路和最佳實(shí)踐對(duì)上一版本進(jìn)行了全面修訂，給出了設(shè)計(jì)維度模型的全面指南，既適合數(shù)據(jù)倉(cāng)庫(kù)新手，也適合經(jīng)驗(yàn)豐富的專業(yè)人員。

《數(shù)據(jù)倉(cāng)庫(kù)工具箱(第3版)——維度建模權(quán)威指南》涉及的所有技術(shù)都基于作者實(shí)際從事DW/BI的設(shè)計(jì)經(jīng)驗(yàn)，通過實(shí)際案例加以描述

目錄

第1章 數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)智能及維度建模初步 1
1.1 數(shù)據(jù)獲取與數(shù)據(jù)分析的區(qū)別 1
1.2 數(shù)據(jù)倉(cāng)庫(kù)與商業(yè)智能的目標(biāo) 2
1.3 維度建模簡(jiǎn)介 5
1.3.1 星型模式與OLAP多維數(shù)據(jù)庫(kù) 6
1.3.2 用于度量的事實(shí)表 7
1.3.3 用于描述環(huán)境的維度表 9
1.3.4 星型模式中維度與事實(shí)的連接 11
1.4 Kimball的DW/BI架構(gòu) 14
1.4.1 操作型源系統(tǒng) 14
1.4.2 獲取-轉(zhuǎn)換-加載(ETL)系統(tǒng) 14
1.4.3 用于支持商業(yè)智能決策的展現(xiàn)區(qū) 16
1.4.4 商業(yè)智能應(yīng)用 17
1.4.5 以餐廳為例描述Kimball架構(gòu) 17
1.5 其他DW/BI架構(gòu) 19
1.5.1 獨(dú)立數(shù)據(jù)集市架構(gòu) 19
1.5.2 輻射狀企業(yè)信息工廠Inmon架構(gòu) 20
1.5.3 混合輻射狀架構(gòu)與Kimball架構(gòu) 22
1.6 維度建模神話 22
1.6.1 神話1：維度模型僅包含匯總數(shù)據(jù) 23
1.6.2 神話2：維度模型是部門級(jí)而不是企業(yè)級(jí)的 23
1.6.3 神話3：維度模型是不可擴(kuò)展的 23
1.6.4 神話4：維度模型僅用于預(yù)測(cè) 23
1.6.5 神話5：維度模型不能被集成 24
1.7 考慮使用維度模型的更多理由 24
1.8 本章小結(jié) 25
第2章 Kimball維度建模技術(shù)概述 27
2.1 基本概念 27
2.1.1 收集業(yè)務(wù)需求與數(shù)據(jù)實(shí)現(xiàn) 27
2.1.2 協(xié)作維度建模研討 27
2.1.3 4步驟維度設(shè)計(jì)過程 28
2.1.4 業(yè)務(wù)過程 28
2.1.5 粒度 28
2.1.6 描述環(huán)境的維度 28
2.1.7 用于度量的事實(shí) 29
2.1.8 星型模式與OLAP多維數(shù)據(jù)庫(kù) 29
2.1.9 方便地?cái)U(kuò)展到維度模型 29
2.2 事實(shí)表技術(shù)基礎(chǔ) 29
2.2.1 事實(shí)表結(jié)構(gòu) 29
2.2.2 可加、半可加、不可加事實(shí) 29
2.2.3 事實(shí)表中的空值 30
2.2.4 一致性事實(shí) 30
2.2.5 事務(wù)事實(shí)表 30
2.2.6 周期快照事實(shí)表 30
2.2.7 累積快照事實(shí)表 30
2.2.8 無事實(shí)的事實(shí)表 31
2.2.9 聚集事實(shí)表或OLAP多維數(shù)據(jù)庫(kù) 31
2.2.10 合并事實(shí)表 31
2.3 維度表技術(shù)基礎(chǔ) 31
2.3.1 維度表結(jié)構(gòu) 31
2.3.2 維度代理鍵 32
2.3.3 自然鍵、持久鍵和超自然鍵 32
2.3.4 下鉆 32
2.3.5 退化維度 32
2.3.6 非規(guī)范化扁平維度 32
2.3.7 多層次維度 32
2.3.8 文檔屬性的標(biāo)識(shí)與指示器 33
2.3.9 維度表中的空值屬性 33
2.3.10 日歷日期維度 33
2.3.11 扮演角色的維度 33
2.3.12 雜項(xiàng)維度 33
2.3.13 雪花維度 33
2.3.14 支架維度 34
2.4 使用一致性維度集成 34
2.4.1 一致性維度 34
2.4.2 縮減維度 34
2.4.3 跨表鉆取 34
2.4.4 價(jià)值鏈 34
2.4.5 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)總線架構(gòu) 35
2.4.6 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)總線矩陣 35
2.4.7 總線矩陣實(shí)現(xiàn)細(xì)節(jié) 35
2.4.8 機(jī)會(huì)/利益相關(guān)方矩陣 35
2.5 處理緩慢變化維度屬性 35
2.5.1 類型0：原樣保留 35
2.5.2 類型1：重寫 35
2.5.3 類型2：增加新行 36
2.5.4 類型3：增加新屬性 36
2.5.5 類型4：增加微型維度 36
2.5.6 類型5：增加微型維度及類型1支架 36
2.5.7 類型6：增加類型1屬性到類型2維度 36
2.5.8 類型7：雙類型1和類型2維度 36
2.6 處理維度層次關(guān)系 37
2.6.1 固定深度位置的層次 37
2.6.2 輕微參差不齊/可變深度層次 37
2.6.3 具有層次橋接表的參差不齊/可變深度層次 37
2.6.4 具有路徑字符屬性的可變深度層次 37
2.7 高級(jí)事實(shí)表技術(shù) 37
2.7.1 事實(shí)表代理鍵 37
2.7.2 蜈蚣事實(shí)表 38
2.7.3 屬性或事實(shí)的數(shù)字值 38
2.7.4 日志/持續(xù)時(shí)間事實(shí) 38
2.7.5 頭/行事實(shí)表 38
2.7.6 分配的事實(shí) 38
2.7.7 利用分配建立利潤(rùn)與損失事實(shí)表 38
2.7.8 多種貨幣事實(shí) 39
2.7.9 多種度量事實(shí)單位 39
2.7.10 年-日事實(shí) 39
2.7.11 多遍SQL以避免事實(shí)表間的連接 39
2.7.12 針對(duì)事實(shí)表的時(shí)間跟蹤 39
2.7.13 遲到的事實(shí) 40
2.8 高級(jí)維度技術(shù) 40
2.8.1 維度表連接 40
2.8.2 多值維度與橋接表 40
2.8.3 隨時(shí)間變化的多值橋接表 40
2.8.4 標(biāo)簽的時(shí)間序列行為 40
2.8.5 行為研究分組 40
2.8.6 聚集事實(shí)作為維度屬性 41
2.8.7 動(dòng)態(tài)值范圍 41
2.8.8 文本注釋維度 41
2.8.9 多時(shí)區(qū) 41
2.8.10 度量類型維度 41
2.8.11 步驟維度 41
2.8.12 熱交換維度 42
2.8.13 抽象通用維度 42
2.8.14 審計(jì)維度 42
2.8.15 最后產(chǎn)生的維度 42
2.9 特殊目的模式 42
2.9.1 異構(gòu)產(chǎn)品的超類與子類模式 43
2.9.2 實(shí)時(shí)事實(shí)表 43
2.9.3 錯(cuò)誤事件模式 43
第3章 零售業(yè)務(wù) 45
3.1 維度模型設(shè)計(jì)的4步過程 46
3.1.1 第1步：選擇業(yè)務(wù)過程 46
3.1.2 第2步：聲明粒度 46
3.1.3 第3步：確定維度 47
3.1.4 第4步：確定事實(shí) 47
3.2 零售業(yè)務(wù)案例研究 47
3.2.1 第1步：選擇業(yè)務(wù)過程 49
3.2.2 第2步：聲明粒度 49
3.2.3 第3步：確定維度 50
3.2.4 第4步：確定事實(shí) 50
3.3 維度表設(shè)計(jì)細(xì)節(jié) 53
3.3.1 日期維度 53
3.3.2 產(chǎn)品維度 56
3.3.3 商店維度 59
3.3.4 促銷維度 60
3.3.5 其他零售業(yè)維度 62
3.3.6 事務(wù)號(hào)碼的退化維度 63
3.4 實(shí)際的銷售模式 63
3.5 零售模式的擴(kuò)展能力 64
3.6 無事實(shí)的事實(shí)表 65
3.7 維度與事實(shí)表鍵 66
3.7.1 維度表代理鍵 66
3.7.2 維度中自然和持久的超自然鍵 68
3.7.3 退化維度的代理鍵 68
3.7.4 日期維度的智能鍵 68
3.7.5 事實(shí)表的代理鍵 69
3.8 抵制規(guī)范化的沖動(dòng) 70
3.8.1 具有規(guī)范化維度的雪花模式 70
3.8.2 支架表 72
3.8.3 包含大量維度的蜈蚣事實(shí)表 72
3.9 本章小結(jié) 74
第4章 庫(kù)存 75
4.1 價(jià)值鏈簡(jiǎn)介 75
4.2 庫(kù)存模型 76
4.2.1 庫(kù)存周期快照 76
4.2.2 庫(kù)存事務(wù) 79
4.2.3 庫(kù)存累積快照 80
4.3 事實(shí)表類型 81
4.3.1 事務(wù)事實(shí)表 81
4.3.2 周期快照事實(shí)表 82
4.3.3 累積快照事實(shí)表 82
4.3.4 輔助事實(shí)表類型 83
4.4 價(jià)值鏈集成 83
4.5 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)總線架構(gòu) 84
4.5.1 理解總線架構(gòu) 84
4.5.2 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)總線矩陣 85
4.6 一致性維度 89
4.6.1 多事實(shí)表鉆取 89
4.6.2 相同的一致性維度 89
4.6.3 包含屬性子集的縮減上卷一致性維度 90
4.6.4 包含行子集的縮減一致性維度 91
4.6.5 總線矩陣的縮減一致性維度 91
4.6.6 有限一致性 92
4.6.7 數(shù)據(jù)治理與管理的重要性 92
4.6.8 一致性維度與敏捷開發(fā) 94
4.7 一致性事實(shí) 94
4.8 本章小結(jié) 95
第5章 采購(gòu) 97
5.1 采購(gòu)案例研究 97
5.2 采購(gòu)事務(wù)與總線矩陣 98
5.2.1 單一事務(wù)事實(shí)表與多事務(wù)事實(shí)表 98
5.2.2 輔助采購(gòu)快照 101
5.3 緩慢變化維度(SCD)基礎(chǔ) 101
5.3.1 類型0：保留原始值 102
5.3.2 類型1：重寫 102
5.3.3 類型2：增加新行 104
5.3.4 類型3：增加新屬性 106
5.3.5 類型4：增加微型維度 108
5.4 混合緩慢變化維度技術(shù) 110
5.4.1 類型5：微型維度與類型1支架表 110
5.4.2 類型6：將類型1屬性增加到類型2維度 111
5.4.3 類型7：雙重類型1與類型2維度 112
5.5 緩慢變化維度總結(jié) 113
5.6 本章小結(jié) 114
第6章 訂單管理 115
6.1 訂單管理總線矩陣 116
6.2 訂單事務(wù) 116
6.2.1 事實(shí)表規(guī)范化 117
6.2.2 維度角色扮演 117
6.2.3 重新審視產(chǎn)品維度 119
6.2.4 客戶維度 120
6.2.5 交易維度 122
6.2.6 針對(duì)訂單號(hào)的退化維度 123
6.2.7 雜項(xiàng)維度 124
6.2.8 應(yīng)該避免的表頭/明細(xì)模式 125
6.2.9 多幣種 126
6.2.10 不同粒度的事務(wù)事實(shí) 128
6.2.11 另外一種需要避免的表頭/明細(xì)模式 129
6.3 發(fā)票事務(wù) 130
6.3.1 作為事實(shí)、維度或兩者兼顧的服務(wù)級(jí)性能 131
6.3.2 利潤(rùn)與損益事實(shí) 131
6.3.3 審計(jì)維度 133
6.4 用于訂單整個(gè)流水線的累積快照 134
6.4.1 延遲計(jì)算 136
6.4.2 多種度量單位 137
6.4.3 超越后視鏡 138
6.5 本章小結(jié) 138
第7章 會(huì)計(jì) 139
7.1 會(huì)計(jì)案例研究與總線矩陣 139
7.2 總賬數(shù)據(jù) 141
7.2.1 總賬周期快照 141
7.2.2 會(huì)計(jì)科目表 141
7.2.3 結(jié)賬 141
7.2.4 年度-日期事實(shí) 143
7.2.5 再次討論多幣種問題 143
7.2.6 總賬日記賬事務(wù) 143
7.2.7 多種財(cái)務(wù)會(huì)計(jì)日歷 144
7.2.8 多級(jí)別層次下鉆 145
7.2.9 財(cái)務(wù)報(bào)表 145
7.3 預(yù)算編制過程 146
7.4 維度屬性層次 148
7.4.1 固定深度的位置層次 148
7.4.2 具有輕微不整齊的可變深度層次 149
7.4.3 不整齊可變深度層次 149
7.4.4 不規(guī)則層次中的共享所有權(quán) 152
7.4.5 隨時(shí)間變化的不規(guī)則層次 153
7.4.6 修改不規(guī)則層次 153
7.4.7 其他不規(guī)則層次的建模方法 154
7.4.8 應(yīng)用于不規(guī)則層次的橋接表方法的優(yōu)點(diǎn) 156
7.5 合并事實(shí)表 156
7.6 OLAP角色及分析方案包 157
7.7 本章小結(jié) 158
第8章 客戶關(guān)系管理 159
8.1 客戶關(guān)系管理概述 160
8.2 客戶維度屬性 162
8.2.1 名字與地址的語(yǔ)法分析 162
8.2.2 國(guó)際姓名和地址的考慮 164
8.2.3 客戶為中心的日期 165
8.2.4 作為維度屬性的聚集事實(shí) 166
8.2.5 分段屬性與記分 166
8.2.6 包含類型2維度變化的計(jì)算 169
8.2.7 低粒度屬性集合的支架表 169
8.2.8 客戶層次的考慮 170
8.3 應(yīng)用于多值維度的橋接表 171
8.3.1 稀疏屬性的橋接表 172
8.3.2 應(yīng)用于客戶多種聯(lián)系方式的橋接表 173
8.4 復(fù)雜的客戶行為 173
8.4.1 客戶隊(duì)列的行為研究分組 173
8.4.2 連續(xù)行為的步驟維度 175
8.4.3 時(shí)間范圍事實(shí)表 176
8.4.4 使用滿意度指標(biāo)標(biāo)記事實(shí)表 177
8.4.5 使用異常情景指標(biāo)標(biāo)記事實(shí)表 178
8.5 客戶數(shù)據(jù)集成方法 178
8.5.1 建立單一客戶維度的主數(shù)據(jù)管理 179
8.5.2 多客戶維度的局部一致性 180
8.5.3 避免對(duì)應(yīng)事實(shí)表的連接 180
8.6 低延遲的實(shí)現(xiàn)檢查 181
8.7 本章小結(jié) 182
第9章 人力資源管理 183
9.1 雇員檔案跟蹤 183
9.1.1 精確的有效和失效時(shí)間范圍 184
9.1.2 維度變化原因跟蹤 185
9.1.3 作為類型2屬性或事實(shí)事件的檔案變化 185
9.2 雇員總數(shù)周期快照 186
9.3 人力資源過程的總線矩陣 187
9.4 分析解決方案軟件包與數(shù)據(jù)模型 188
9.5 遞歸式雇員層次 189
9.5.1 針對(duì)嵌入式經(jīng)理主鍵變化的跟蹤 190
9.5.2 上鉆或下鉆管理層次 190
9.6 多值技能關(guān)鍵字屬性 191
9.6.1 技能關(guān)鍵字橋接表 191
9.6.2 技能關(guān)鍵字文本字符串 192
9.7 調(diào)查問卷數(shù)據(jù) 193
9.8 本章小結(jié) 194
第10章 金融服務(wù) 195
10.1 銀行案例研究與總線矩陣 195
10.2 分類維度以避免出現(xiàn)維度太少的情況 196
10.2.1 家庭維度 199
10.2.2 多值維度與權(quán)重因子 199
10.2.3 再談微型維度 200
10.2.4 在橋接表中增加微型維度 202
10.2.5 動(dòng)態(tài)值范圍事實(shí) 202
10.3 異構(gòu)產(chǎn)品的超類和子類模式 203
10.4 熱可交換維度 205
10.5 本章小結(jié) 205
第11章 電信 207
11.1 電信業(yè)案例研究與總線矩陣 207
11.2 設(shè)計(jì)評(píng)審的一般性考慮 209
11.2.1 業(yè)務(wù)需求與實(shí)際可用資源的權(quán)衡 209
11.2.2 關(guān)注業(yè)務(wù)過程 209
11.2.3 粒度 210
11.2.4 統(tǒng)一的事實(shí)表粒度 210
11.2.5 維度的粒度和層次 210
11.2.6 日期維度 211
11.2.7 退化維度 211
11.2.8 代理鍵 212
11.2.9 維度解碼與描述符 212
11.2.10 一致的承諾 212
11.3 設(shè)計(jì)評(píng)審指導(dǎo) 212
11.4 草案設(shè)計(jì)訓(xùn)練的討論 214
11.5 重新建模已存在的數(shù)據(jù)結(jié)構(gòu) 215
11.6 地理位置維度 216
11.7 本章小結(jié) 216
第12章 交通運(yùn)輸 217
12.1 航空案例研究與總線矩陣 217
12.1.1 多種事實(shí)表粒度 218
12.1.2 連接區(qū)段形成旅程 220
12.1.3 相關(guān)事實(shí)表 221
12.2 擴(kuò)展至其他行業(yè) 221
12.2.1 貨物托運(yùn)人 221
12.2.2 旅行服務(wù) 222
12.3 相關(guān)維度合并 222
12.3.1 服務(wù)類別 223
12.3.2 始發(fā)地與目的地 224
12.4 更多有關(guān)日期和時(shí)間的考慮 225
12.4.1 用作支架表的特定國(guó)家日歷 225
12.4.2 多時(shí)區(qū)的日期和時(shí)間 226
12.5 本地化概要 226
12.6 本章小結(jié) 227
第13章 教育 229
13.1 大學(xué)案例研究與總線矩陣 229
13.2 累積快照事實(shí)表 231
13.2.1 申請(qǐng)流水線 231
13.2.2 科研資助項(xiàng)目流水線 232
13.3 無事實(shí)的事實(shí)表 232
13.3.1 招生事件 233
13.3.2 課程注冊(cè) 233
13.3.3 設(shè)施使用 235
13.3.4 學(xué)生考勤 236
13.4 更多關(guān)于教育分析的情況 237
13.5 本章小結(jié) 237
第14章 醫(yī)療衛(wèi)生 239
14.1 醫(yī)療衛(wèi)生案例研究與總線矩陣 239
14.2 報(bào)銷單據(jù)與支付 241
14.2.1 日期維度角色扮演 243
14.2.2 多值診斷 243
14.2.3 收費(fèi)的超類與子類 245
14.3 電子醫(yī)療記錄 246
14.3.1 度量稀疏事實(shí)的類型維度 246
14.3.2 自由文本注釋 247
14.3.3 圖像 247
14.4 設(shè)施/設(shè)備的庫(kù)存利用 247
14.5 處理可追溯的變化 248
14.6 本章小結(jié) 248
第15章 電子商務(wù) 249
15.1 點(diǎn)擊流源數(shù)據(jù) 249
15.2 點(diǎn)擊流維度模型 252
15.2.1 網(wǎng)頁(yè)維度 252
15.2.2 事件維度 253
15.2.3 會(huì)話維度 254
15.2.4 推薦維度 254
15.2.5 點(diǎn)擊流會(huì)話事實(shí)表 255
15.2.6 點(diǎn)擊流網(wǎng)頁(yè)事件事實(shí)表 256
15.2.7 步驟維度 258
15.2.8 聚集點(diǎn)擊流事實(shí)表 258
15.2.9 Google Analytics(GA) 259
15.3 將點(diǎn)擊流集成到Web零售商總線矩陣中 259
15.4 包含Web的跨渠道贏利能力 261
15.5 本章小結(jié) 263
第16章 保險(xiǎn)業(yè)務(wù) 265
16.1 保險(xiǎn)案例研究 266
16.1.1 保險(xiǎn)業(yè)價(jià)值鏈 266
16.1.2 總線矩陣草案 267
16.2 保單事務(wù) 268
16.2.1 維度角色扮演 268
16.2.2 緩慢變化維度 268
16.2.3 針對(duì)大型和快速變化維度的微型維度 269
16.2.4 多值維度屬性 269
16.2.5 作為事實(shí)或維度的數(shù)值屬性 270
16.2.6 退化維度 270
16.2.7 低粒度維度表 270
16.2.8 審計(jì)維度 270
16.2.9 保單事務(wù)事實(shí)表 270
16.2.10 異構(gòu)的超類和子類產(chǎn)品 271
16.2.11 輔助保險(xiǎn)累積快照 272
16.3 保費(fèi)周期快照 272
16.3.1 一致性維度 272
16.3.2 一致性事實(shí) 273
16.3.3 預(yù)付事實(shí) 273
16.3.4 再談異構(gòu)超類與子類 273
16.3.5 再談多值維度 274
16.4 更多保險(xiǎn)案例研究背景 274
16.4.1 更新保險(xiǎn)行業(yè)總線矩陣 275
16.4.2 總線矩陣實(shí)現(xiàn)細(xì)節(jié) 275
16.5 索賠事務(wù) 277
16.6 索賠累積快照 278
16.6.1 復(fù)雜工作流的累積快照 279
16.6.2 時(shí)間范圍累積快照 279
16.6.3 周期而不是累積快照 280
16.7 保單/索賠合并的周期快照 280
16.8 無事實(shí)的意外事件 280
16.9 需要避免的常見維度建模錯(cuò)誤 281
16.9.1 錯(cuò)誤10：在事實(shí)表中放入文本屬性 281
16.9.2 錯(cuò)誤9：限制使用冗長(zhǎng)的描述符以節(jié)省空間 281
16.9.3 錯(cuò)誤8：將層次劃分為多個(gè)維度 282
16.9.4 錯(cuò)誤7：忽略對(duì)維度變化進(jìn)行跟蹤的需要 282
16.9.5 錯(cuò)誤6：使用更多的硬件解決所有的性能問題 282
16.9.6 錯(cuò)誤5：使用操作型鍵連接維度和事實(shí) 282
16.9.7 錯(cuò)誤4：忽視對(duì)事實(shí)粒度的聲明并混淆事實(shí)粒度 282
16.9.8 錯(cuò)誤3：使用報(bào)表設(shè)計(jì)維度模型 283
16.9.9 錯(cuò)誤2：希望用戶查詢規(guī)范化的原子數(shù)據(jù) 283
16.9.10 錯(cuò)誤1：違反事實(shí)和維度的一致性要求 283
16.10 本章小結(jié) 284
第17章 Kimball DW/BI生命周期概述 285
17.1 生命周期路標(biāo) 286
17.2 生命周期初始活動(dòng) 287
17.2.1 程序/項(xiàng)目規(guī)劃與管理 287
17.2.2 業(yè)務(wù)需求定義 290
17.3 生命周期技術(shù)路徑 294
17.3.1 技術(shù)架構(gòu)設(shè)計(jì) 294
17.3.2 產(chǎn)品選擇與安裝 296
17.4 生命周期數(shù)據(jù)路徑 297
17.4.1 維度建模 297
17.4.2 物理設(shè)計(jì) 297
17.4.3 ETL設(shè)計(jì)與開發(fā) 299
17.5 生命周期BI應(yīng)用路徑 299
17.5.1 BI應(yīng)用規(guī)范 299
17.5.2 BI應(yīng)用開發(fā) 299
17.6 生命周期總結(jié)活動(dòng) 300
17.6.1 部署 300
17.6.2 維護(hù)和發(fā)展 300
17.7 應(yīng)當(dāng)避免的常見錯(cuò)誤 301
17.8 本章小結(jié) 302
第18章 維度建模過程與任務(wù) 303
18.1 建模過程概述 303
18.2 組織工作 304
18.2.1 確定參與人，特別是業(yè)務(wù)代表們 304
18.2.2 業(yè)務(wù)需求評(píng)審 305
18.2.3 利用建模工具 305
18.2.4 利用數(shù)據(jù)分析工具 306
18.2.5 利用或建立命名規(guī)則 306
18.2.6 日歷和設(shè)施的協(xié)調(diào) 306
18.3 維度模型設(shè)計(jì) 307
18.3.1 統(tǒng)一對(duì)高層氣泡圖的理解 307
18.3.2 開發(fā)詳細(xì)的維度模型 308
18.3.3 模型評(píng)審與驗(yàn)證 311
18.3.4 形成設(shè)計(jì)文檔 312
18.4 本章小結(jié) 312
第19章 ETL子系統(tǒng)與技術(shù) 313
19.1 需求綜合 314
19.1.1 業(yè)務(wù)需求 314
19.1.2 合規(guī)性 314
19.1.3 數(shù)據(jù)質(zhì)量 314
19.1.4 安全性 315
19.1.5 數(shù)據(jù)集成 315
19.1.6 數(shù)據(jù)延遲 316
19.1.7 歸檔與世系 316
19.1.8 BI發(fā)布接口 316
19.1.9 可用的技能 317
19.1.10 傳統(tǒng)的許可證書 317
19.2 ETL的34個(gè)子系統(tǒng) 317
19.3 獲?。簩?shù)據(jù)插入到數(shù)據(jù)倉(cāng)庫(kù)中 318
19.3.1 子系統(tǒng)1：數(shù)據(jù)分析 318
19.3.2 子系統(tǒng)2：變化數(shù)據(jù)獲取系統(tǒng) 319
19.3.3 子系統(tǒng)3：獲取系統(tǒng) 320
19.4 清洗與整合數(shù)據(jù) 321
19.4.1 提高數(shù)據(jù)質(zhì)量文化與過程 322
19.4.2 子系統(tǒng)4：數(shù)據(jù)清洗系統(tǒng) 323
19.4.3 子系統(tǒng)5：錯(cuò)誤事件模式 324
19.4.4 子系統(tǒng)6：審計(jì)維度裝配器 325
19.4.5 子系統(tǒng)7：重復(fù)數(shù)據(jù)刪除(deduplication)系統(tǒng) 326
19.4.6 子系統(tǒng)8：一致性系統(tǒng) 326
19.5 發(fā)布：準(zhǔn)備展現(xiàn) 328
19.5.1 子系統(tǒng)9：緩慢變化維度管理器 328
19.5.2 子系統(tǒng)10：代理鍵產(chǎn)生器 332
19.5.3 子系統(tǒng)11：層次管理器 332
19.5.4 子系統(tǒng)12：特定維度管理器 333
19.5.5 子系統(tǒng)13：事實(shí)表建立器 335
19.5.6 子系統(tǒng)14：代理鍵流水線 336
19.5.7 子系統(tǒng)15：多值維度橋接表建立器 337
19.5.8 子系統(tǒng)16：遲到數(shù)據(jù)處理器 338
19.5.9 子系統(tǒng)17：維度管理器系統(tǒng) 339
19.5.10 子系統(tǒng)18：事實(shí)提供者系統(tǒng) 339
19.5.11 子系統(tǒng)19：聚集建立器 340
19.5.12 子系統(tǒng)20：OLAP多維數(shù)據(jù)庫(kù)建立器 340
19.5.13 子系統(tǒng)21：數(shù)據(jù)傳播管理器 340
19.6 管理ETL環(huán)境 341
19.6.1 子系統(tǒng)22：任務(wù)調(diào)度器 341
19.6.2 子系統(tǒng)23：備份系統(tǒng) 342
19.6.3 子系統(tǒng)24：恢復(fù)與重啟系統(tǒng) 343
19.6.4 子系統(tǒng)25：版本控制系統(tǒng) 344
19.6.5 子系統(tǒng)26：版本遷移系統(tǒng) 345
19.6.6 子系統(tǒng)27：工作流監(jiān)視器 345
19.6.7 子系統(tǒng)28：排序系統(tǒng) 346
19.6.8 子系統(tǒng)29：世系及依賴分析器 346
19.6.9 子系統(tǒng)30：?jiǎn)栴}提升系統(tǒng) 346
19.6.10 子系統(tǒng)31：并行/流水線系統(tǒng) 347
19.6.11 子系統(tǒng)32：安全系統(tǒng) 347
19.6.12 子系統(tǒng)33：合規(guī)性管理器 348
19.6.13 子系統(tǒng)34：元數(shù)據(jù)存儲(chǔ)庫(kù)管理器 350
19.7 本章小結(jié) 350
第20章 ETL系統(tǒng)設(shè)計(jì)與開發(fā)過程和任務(wù) 351
20.1 ETL過程概覽 351
20.2 ETL開發(fā)規(guī)劃 351
20.2.1 第1步：設(shè)計(jì)高層規(guī)劃 352
20.2.2 第2步：選擇ETL工具 352
20.2.3 第3步：開發(fā)默認(rèn)策略 353
20.2.4 第4步：按照目標(biāo)表鉆取數(shù)據(jù) 354
20.2.5 開發(fā)ETL規(guī)范文檔 355
20.3 開發(fā)一次性的歷史加載過程 356
20.3.1 第5步：用歷史數(shù)據(jù)填充維度表 356
20.3.2 第6步：完成事實(shí)表歷史加載 360
20.4 開發(fā)增量式ETL過程 363
20.4.1 第7步：維度表增量處理過程 363
20.4.2 第8步：事實(shí)表增量處理過程 365
20.4.3 第9步：聚集表與OLAP加載 367
20.4.4 第10步：ETL系統(tǒng)操作與自動(dòng)化 368
20.5 實(shí)時(shí)的影響 368
20.5.1 實(shí)時(shí)分類 369
20.5.2 實(shí)時(shí)結(jié)構(gòu)權(quán)衡 370
20.5.3 展現(xiàn)服務(wù)器上的實(shí)時(shí)分區(qū) 371
20.6 本章小結(jié) 372
第21章 大數(shù)據(jù)分析 373
21.1 大數(shù)據(jù)概覽 373
21.1.1 擴(kuò)展的RDBMS結(jié)構(gòu) 374
21.1.2 MapReduce/Hadoop結(jié)構(gòu) 375
21.1.3 大數(shù)據(jù)結(jié)構(gòu)比較 376
21.2 推薦的應(yīng)用于大數(shù)據(jù)的最佳實(shí)踐 376
21.2.1 面向大數(shù)據(jù)管理的最佳實(shí)踐 376
21.2.2 面向大數(shù)據(jù)結(jié)構(gòu)的最佳實(shí)踐 377
21.2.3 應(yīng)用于大數(shù)據(jù)的數(shù)據(jù)建模最佳實(shí)踐 381
21.2.4 大數(shù)據(jù)的數(shù)據(jù)治理最佳實(shí)踐 383
21.3 本章小結(jié) 384