A吴中城市综合管理服务大数据平台建设与应用示范项目可行性研究报告 - 图文

统每天能够采集到大约500万条信息，每条信息能够在20分钟之内完成存储、索引和分析过程并呈现给用户。

安全中心可以在本地数据中心部署一定量的服务器和带宽资源，保证对几家重点媒体的数据采集能力，其他媒体的数据采集可以由九次方的服务器集群负责，采集过来的数据进行简单过滤处理后传送到安全中心的IDC，或者由客户定时自取，九次方提供各类数据API，数据存储和数据分析都在安全中心的IDC中处理。九次方为用户提供的及时、全面的数据采集服务，安全中心无需自己搭设过多的数据采集点，只需要从九次方的数据通道获得即可，这不但可以解决数据隐私的问题，而且可以大大降低了项目的实施成本。 （三） 系统基础组件结构

系统基础组件选用九次方自主研发的关键组件，与成熟的开源技术相结合，最大程度的降低了系统通用中间件的成本。

22

分布式数据采集系统基于九次方自主研发的蜘蛛技术数据预处理系统数据排重、数据过滤、数据分类全文检索系统数据库支持系统索引支持系统Mysql 高性能可扩展的数据库存储技术基于九次方自主研发的高性能可扩展的索引技术分布式数据挖掘系统 Hadoop / HiveMapReduce大规模数据集并行计算技术基于九次方自主研发的NLP技术前端系统Tomcat、MemCache缓存系统、图表系统备份及恢复系统数据库系统原生同步备份机制自行开发的同步备份系统支持远程同步备份及恢复系统基础组件图 13系统基础组件结构示意图

（四） 系统技术架构

本工程采用主流成熟的开发框架和产品组件进行开发，采用多层体系结构来构建符合标准与管理规范体系、安全与运行保障体系的高可用性系统。

综上，本项目开发的整体技术架构如下：

23

图 14大数据综合应用平台总体技术架构示意图

其中：针对数据源层的数据采集：需提供多种方式，以满足吴中区政府各局级单位IT系统的特点，数据采集不限于数据文件的“推”与“拉”方式、web录入与上传方式、数据库直接方式等；并满足离线采集、实时采集等不同采集类型的需要；

数据处理层：负责系统所有数据的处理工作，基于分布式服务框架，实现包括离线处理、实时处理、实时交互查询、数据预处理等，完成数据的加工以及对外展现的服务；

数据存储层：负责结构化和非结构化的存储，存储方式包括不限于HDFS、ORACLE、MYSQL（或）、内存数据库等，满足不同的应用场景需要；

展现层：负责数据对外应用的展现，由Web负载集群实现展现应用。

24

（五） 技术开发原则

开放架构

新平台要构建开放架构，系统将通过参数设置定制，形成新产品以适应互联网金融产品日新月异的发展，新产品上线将以插件化的方式，避免对老产品的影响。

基础平台

采用租用扩展能力强、运维能力强的云服务平台模式，从而减少硬件设备投入，避免因容量扩展迅速而频繁进行硬件设备的迭代。

体验优先

用户体验度将是平台成败之根本，将简洁清晰的用户操作始终贯彻于平台中的每个产品。

移动优先

开发执行移动优先的策略，APP将覆盖我们平台的所有功能，但尽可能减少营销信息，确保客户体验。

PC端主要是作为产品超市，下载平台，宣传媒介，功能主要是服务企业客户。

安全独立

新平台将釆取开发厂商和安全厂商相对独立，以确定平台能达到设计的安全水平，同时跟进实时监测，确保运行安全。

25