商业银行数据仓库浅析

BYK

商业银行数据仓库浅析

营口银行内部资料

商业银行数据仓库浅析

商业银行数据仓库浅析

第一版 孟凡涛

2012年12月

2

商业银行数据仓库浅析

目录

引言 ................................................................................................................................................... 5 1

基本概念 ................................................................................................................................... 6 1.1 1.2 1.3 1.4

操作型系统 ............................................................................................................................. 6 OLTP和OLAP ........................................................................................................................... 6 数据源系统 ............................................................................................................................. 7 数据仓库 ................................................................................................................................. 7

面向主题 ......................................................................................................................... 7 集成 ................................................................................................................................. 8 非易失性 ......................................................................................................................... 9 随时间变化 ................................................................................................................... 10

1.4.1 1.4.2 1.4.3 1.4.4 1.5 1.6 2 3

决策支持系统 ....................................................................................................................... 11 维度和度量 ........................................................................................................................... 11

数据仓库的好处 ...................................................................................................................... 12 数据仓库核心内容 .................................................................................................................. 14 3.1 3.2

典型数据仓库架构图 ........................................................................................................... 14 数据模型 ............................................................................................................................... 14

模型设计思路 ............................................................................................................... 15 模型设计原则 ............................................................................................................... 16 模型主题划分 ............................................................................................................... 16 拉链表 ........................................................................................................................... 19 快照表 ........................................................................................................................... 20 流水表 ........................................................................................................................... 20

3.2.1 3.2.2 3.2.3 3.2.4 3.2.5 3.2.6 3.3

ODS层 ................................................................................................................................... 20

3.3.1 ODS定义 ........................................................................................................................... 20 3.3.2 ODS作用 ........................................................................................................................... 21 3.4 3.5 3.6 3.7 3.8 3.9

FDS层 .................................................................................................................................... 22 IDS层 ..................................................................................................................................... 22 数据集市 ............................................................................................................................... 22 ETL过程 ................................................................................................................................. 23 调度管理 ............................................................................................................................... 23 元数据管理 ........................................................................................................................... 24

基本定义 ....................................................................................................................... 24 元数据管理的作用 ....................................................................................................... 25

3.9.1 3.9.2 3.10 4

数据质量管理 ....................................................................................................................... 26

数据仓库规范 .......................................................................................................................... 27 4.1 4.2

数据层规范 ........................................................................................................................... 27 主题域命名 ........................................................................................................................... 27

基础数据层（FDS）主题命名 ..................................................................................... 28 集成数据层（IDS）主题命名 ...................................................................................... 29 实体/表命名 ................................................................................................................. 29

3

4.2.1 4.2.2 4.2.3

商业银行数据仓库浅析

4.2.4 5 6

属性/列命名 ................................................................................................................. 32

历史数据 ................................................................................................................................. 34 常见问题 ................................................................................................................................. 34 6.1 6.2 6.3

数据量 ................................................................................................................................... 35 拉链表 ................................................................................................................................... 35 索引 ....................................................................................................................................... 36

4