（完整word版）大数据分析系统需求

大数据分析系统需求

天津绍闻迪康科技咨询有限公司

2018/5/28

仅为需求基本框架，需要根据贵公司产品、技术路线具体面议。

目录

一、系统定位 ......................................................................................... 2 二、功能模块 ......................................................................................... 3 2.1爬虫系统 ........................................................................................... 3 2.1.1数据源 ...................................................................................... 3 2.1.2爬虫系统功能 .......................................................................... 3 2.2数据处理、存储、计算系统 ............................................................ 4 2.2.1数据处理模块 .......................................................................... 4 2.2.2数据存储模块 .......................................................................... 4 2.2.3数据计算模块 .......................................................................... 5 2.3数据分析、可视化系统 .................................................................... 9 2.4对外接口 ......................................................................................... 10 2.4.1会员制体系 ............................................................................ 10 2.4.2其他 ........................................................................................ 10 2.5其他 ................................................................................................. 11 2.5.1数据痕迹 ................................................................................ 11 2.5.2信息安全 ................................................................................ 11 2.5.3注意事项 ................................................................................ 11

1、系统定位

从数据接入到数据应用，我们需要【大数据分析系统】包括几大功能模块：

（1）爬虫系统

（2）数据处理、存储、计算系统 （3）数据人工智能分析、可视化系统 （4）外部接口

其中第（3）模块是核心，需要结合我们公司业务方向建设相关的数学模型，进行人工智能的自动分析。

爬虫系统可以从指定网站自动的进行信息的抓取，对数据库中的已有词条进行更新或新建，或者从全站按照关键词抓取信息，更新数据库中词条，爬虫搜集到的数据也需要存储到系统中。

数据库系统可以将公司现有资料分库录入系统，生成词条，词条之间相互关联，可以实现跳转，可视化查看；存储爬虫得到的数据。数据库中的词条或者数据源大多是国外的，例如美国，日本等，涉及到的人物或者其它词条会有多种语言的表达。

系统可以结合爬虫的数据、库中本来的数据按照一定内容生成词条自身的时间轴，多库之间词条的的关系图。系统需要与外部互联的接口，包括微信平台，天蝎系统，邮件营销平台，调查问卷分析平台。

2、功能模块 2.1爬虫系统 2.1.1数据源

1）网站，可能是信息变化不大的静态网站，也可能是信息在实时更新的动态网站，例如博客或者论坛。网站库不定时更新。

2）数据库，需要模拟登陆，从一些数据库中抓取数据，例如论文或者专利数据库等，可能是从国内或者国外的数据库网站中。

3）自媒体，例如Facebook，twitter等，需要从中抓取一些个人信息，例如一个人的邮箱，可能需要与公司已有的天蝎系统结合，从天蝎系统已经分析出的个人信息Excel中抓取所需信息。（可具体商议）

2.1.2爬虫系统功能

1）爬虫系统需要从指定数据源网站中实时抓取信息，通过实体抽取，和数据库中的词条进行关联，自动更新数据库中已有的词条。

2）可以设定关键词，从全站以及所有数据源中抓取信息，进行数据处理后，按照词条准确匹配，存入数据库；

3）可以按照用户指定的关键词在指定的网站中抓取信息，生成结果。