统计局大数据统计平台建设方案 智慧统计大数据云平台建设方案

智慧统计大数据云平台建设方案2018版

统计局大数据统计平台

建 设 方 案

智慧统计大数据云平台建设方案2018版

目录

第一章 项目概述 ............................................... 5

1.1项目名称 ............................................... 5 1.2 建设单位 ............................................... 5 1.3 编制依据 ............................................... 5 1.4项目背景 ............................................... 5 1.5建设周期 ............................................... 8 1.6建设意义 ............................................... 9 第二章 建设需求 .............................................. 11

2.1建设目标 .............................................. 11 2.2 项目建设需求分析 ...................................... 11 2.3平台性能需求分析 ...................................... 15 第三章 应用支撑平台建设方案 .................................. 19

3.1 建设原则 .............................................. 19 3.2 建设目标 .............................................. 21 3.3 平台架构 .............................................. 21 3.4 大数据平台功能 ........................................ 23

3.4.1数据交换系统 .................................... 23 3.4.2数据质量管理 .................................... 29 3.4.3基础模型搭建 .................................... 34 3.4.4多维分析模型搭建 ................................ 35 3.4.5定制报表功能 .................................... 36 3.4.6自助取数平台 .................................... 38 3.4.7系统管理功能 .................................... 39 3.5数据库设计 ............................................ 40

3.5.1数据库设计目标 .................................. 41 3.5.2数据库架构 ...................................... 41 3.6大数据处理设计 ........................................ 43

3.6.1并行处理设计 .................................... 43 3.6.2数据算法提速 .................................... 47 3.7大数据存储设计 ........................................ 51

3.7.1数据分级存储 .................................... 51 3.7.2分布式数据库 .................................... 52 3.8

软硬件配置 ......................................... 54 3.8.1 选型原则 ........................................ 54 3.8.2 容量估算 ........................................ 55 3.8.3 投资估算 ........................................ 61

第四章 应用系统建设方案 ..................................... 68

4.1 应用系统功能架构 ...................................... 68

4.1.2 ETL工具 ....................................... 69 4.2业务分析系统 .......................................... 71

4.2.1“三新”统计 ..................................... 72 4.2.2文化产业统计 .................................... 76 4.3 宏观经济预测系统 ...................................... 86 4.4 应用系统配套工具 ...................................... 91 第五章 系统安全设计方案 ....................................... 93

5.1 区块链的数据安全 ...................................... 93

5.1.1区块链描述 ...................................... 93 5.1.2区块链数据保障 .................................. 94 5.2 互联网接入安全 ........................................ 94

5.3 集群系统安全 .......................................... 95

5.3.1主机安全 ........................................ 95 5.3.2操作系统安全 .................................... 96 5.4 数据备份方案 .......................................... 96

5.4.1备份策略 ........................................ 96 5.4.2分布式系统备份 .................................. 97 5.4.3负载均衡 ........................................ 97

第六章 项目招标方案 ........................................... 98

6.1招标范围 .............................................. 98 6.2评审办法建议 .......................................... 98

6.2.1评审过程 ........................................ 98 6.2.2评审办法 ....................................... 102

第七章 项目实施进度 .......................................... 111

7.1项目建设周期 ......................................... 111 7.2 实施进度计划 ......................................... 111 7.3进度保障 ............................................. 112 第八章 项目组织机构和人员培训 ................................ 113

8.1领导和管理机构 ....................................... 113 8.2项目实施机构 ......................................... 113 8.3人员培训方案 ......................................... 115

8.3.1概述 ........................................... 115 8.3.2培训目标 ....................................... 115 8.3.3培训方式 ....................................... 116

第九章 项目风险与风险管理 .................................... 118

9.1风险识别和分析 ....................................... 118