数据架构参考

3. 自动化运维管理

自动化运维平台提供灵活方便的用户管理操作入口，系统基本无需专人运维，大部分的工作是自动化的，一小部分工作通过人员确认一键完成。

1.5.5.9 配置数据管理

集群路由和分配以及扩容迁移等信息全部存储在中心节点Manager中，所有路由变更等配置信息统一通过Manager来完成，Manager节点会自动同步路由变更信息给所有的接入节点，并保障接入节点对变更信息的一致性问题，即所有接入节点在任意时刻看到的路由信息都是完全一致的，Manager与接入节点之间通过路由版本号信息来保障这一点。

元数据管理通过主备方式来进行容灾，主节点故障，从节点自动接管工作，对应用完全无影响。

1.5.5.10 数据无缝迁移扩容

数据达到一定容量后，通过Transfer模块可以进行自动无缝扩容和迁移工作，迁移模块会分成线上和线下两部分完成，首先进行线下的全量数据及部分增量数据的迁移，待线下数据迁移达到指定阈值后，会进行线上的最后一部分数据追赶及路由切换等工作，应用的访问最终会自动被切换到新的实例上。 迁移过程中会多次对数据进行校验，保障数据迁移的准确性。

1.5.6 分布式缓存

分布式缓存出于如下考虑，首先是缓存本身的水平线性扩展问题，其次是缓存大并发下的本身的性能问题，再次避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括首先是内存本身的管理问题，包括了内存的分配，管理和回收机制。其次是分布式管理和分布式算法，其次是缓存键值管理和路由。

1.5.6.1 技术架构

缓存客户端工具负载均衡器语法解析器系统监控广播处理队列模块集群管理分布式缓存系统引擎线程管理通讯管理内存管理持久化处理 DBLinuxBSDMACWindows文件系统 1.5.6.2 支持数据类型

提供如下形式的数据：

Key/Value、Set、List、Map、Object 数据之间支持排序和集合运算

1.5.6.3 缓存服务

主要包括可分为以下几类: 1) 页面缓存 2) 应用对象缓存 3) 状态缓存 4) 分析计算缓存

5)事务处理

1.6 数据存储

1.6.1 总体描述

本章描述对核心数据，非核心数据等各类不同种类数据的数据处理系统，以及数据存储系统的架构实现。

根据下列数据分类以及各类数据特点制定数据存储的架构方式。

图4-6-1：各种分类维度下的数据分类

1.6.2 技术实现

按照不同数据分类下的数据特征(包括数据量，数据价值，以及结构化特征)，使用不同的数据存储架构实现数据这些数据的存储和管理。

图4-6-2：各种数据存储架构总览

1.6.2.1 核心数据存储架构

1）数据库管理系统

在采用Oracle11g RAC的基础上，对需要加速的数据处理，通过内存数据库技术融合，以提高系统对核心数据的处理性能。

2）数据存储系统

磁盘阵列：采用SAS盘，支持RAID0.1.5.

SAN交换机：采用FC协议，SAN采用8Gbps/4Gbps 的带宽。

图4-6-3：核心数据存储架构