数据中心及管理决策支持系统的总体设计开发方案及实施方案

对交换来的数据进行筛选、转换、匹配，形成数据中心格式的数据库。数据接收功能包括数据接收方式设置与数据接收反馈。 数据接收方式设置

数据中心交换数据分为结构化数据和非结构化数据，接收方式设置可分别设置数据接收方式和数据接收存储位置等。 数据接收反馈

将数据接收的结果进行反馈。 数据抽取

数据抽取功能是对数据中心抽取所需的源数据表、抽取频率、抽取方式、抽取时间等各种参数的设置。对于通过校验审核的采集数据，由抽取加载功能加载进入数据中心交换数据库存储。

由于市场监督管理系统数据量巨大，数据中心在抽取数据时必然会影响业务系统的读写速度，为了使数据中心的数据与业务系统同步，同时尽量减少数据中心数据抽取对业务系统的影响，数据中心采用数据增量的数据抽取方式。增量传输提供高效数据传输模式，通过对业务数据操作时间（即业务时间戳）的比对，获取最新增量的业务数据，实现数据增量分离，减少源数据库的读取次数，从而减少数据中心抽取数据对各业务系统的影响。 数据抽取数据源设置

数据抽取数据源设置是在连接到源数据后，对源数据中的数据内容进行选择的操作。由于源数据为业务数据，其中包含有大量系统表，临时表、与业务无关的辅助类表等，这类表不属于数据中心抽取范围。数据源设置是对数据源进行选择确认哪些表的数据需要抽取，哪些不需要抽取。 数据抽取方式设置

数据抽取方式分为全量抽取和增量抽取两种方式。由于数据抽取会占用业务数据库的读写操作，为了减少数据中心抽取数据对业务系统的影响，对于更新频率较高的数据易采用增量抽取。

对于必须使用全量抽取的业务数据，则需要安排在非工作时间抽取，尽可能的减少抽取数据对业务系统的影响。 数据抽取频率设置

根据数据的重要性，不同业务主体的数据对数据更新要求各不相同。如：主体数据为工商主要数据，且其他业务数据需要主体数据及时性要求较高，因此主体数据的抽取频率要求高。

数据抽取频率设置是根据不同需求，设定数据抽取的频率 数据抽取时间设置

由于数据增量发生在工作时间，因此对于增量抽取的业务数据，通过抽取时间设置，系统在工作时间进行增量抽取，非工作时间则不进行数据抽取。

对于全量抽取的业务数据，设定抽取时间，可定时自动实现数据抽取。 数据抽取结果反馈

数据抽取结果反馈是对数据抽取结果进行归档并展示。对于数据抽取未出错的数据提示数据抽取成功。

对于数据抽取出错的提醒相关人员抽取出错，并将抽取系统的出错日志进行展示，方便工作人员进行错误查找。 数据转换

数据转换的任务主要是通过校验、清洗、匹配、整合、转换源数据，使其以数据中心的格式和规则存储如数据中心中心库。数据的转换包括以下部分：

1、数据校验：

数据校验是数据在源数据库抽取到采集数据库时进行的校验与审核。按照数据采集约定的数据格式、数据内容进行校验，对于不符合要求的数据，输出到错误库并产生详细的出错记录，错误数据和错误日志将返还数据提供方，协助数据提供方分析修改数据。对于数据质量未达到校验最低标准的数据，要求数据提供方重新发送数据。数据校验与审核功能主要是针对单字段、单表或单业务主题的简单验证和检验。

2、数据清洗：

数据清洗过程是在采集库到中心数据库过程中，对遗漏、错误、不一致等各种数据进行数据验证清理，保证数据的正确性、一致性和唯一性。数据清洗是按照市场监督管理数据固有逻辑和关系，对跨业务主体、跨数据表之间，有业务逻辑的数据进行的清洗。数据清洗的内容主要包括三个方面：

? 不完整的数据，其特征是是一些应该有的信息缺失，如供应商的名称，分公司的名称，客

户的区域信息缺失、业务系统中主表与明细表不能匹配等。需要将这一类数据过滤出来。 ? 错误的数据，产生原因是业务系统不够健全，在接收输入后没有进行必要的逻辑判断直接

写入后台数据库造成的，比如发现注册号不同而企业名称相同的记录数据、提交材料不全而年检结果为通过的数据、各业务系统之间注册号相同而名称不同等。这类问题通过数据关联和数据边界设定进行发现和筛选。

? 数据的缺失和重复，按一定规则对重复数据、缺失数据进行发现和处理。例如出现登记库

存在的企业在名称库中无名称核准信息的缺失数据，多条记录主要字段相同而部分字段不一致的重复数据等。对每类问题，系统将有针对性的清洗规则进行侦别归纳分析，所有问题数据都应形成错误数据报告，并根据需要反馈给数据提供者。清洗规则库可以动态配置扩展。 3、数据匹配功能：

数据匹配功能是根据市场监督管理业务的逻辑联系，对其他部门采集业务数据与市场监督管理主体登记信息进行匹配，匹配成功的数据进行整合归并操作；否则根据配置设置确定数据是否进入中心数据库，并反馈相关情况给数据源部门。根据市场监督管理业务的特殊性，如部分案件或消保信息由于主体没有在深圳登记或备案，则无法与主体信息进行匹配。但这类数据是正确数据，需要进入中心数据库。

4、数据转换功能：

数据转换功能是将采集数据与中心数据库表结构、编码内容不一致的数据进行字段映射、编码转换和一些特定字段的计算填充等操作。数据转换功能将读取运行管理系统中相应的参数配置进行工作。

数据校验规则管理

数据校验是对抽取数据进行校验。由于抽取的数据分为结构化数据和非结构化数据，因此校验的内容各不相同。对于结构化数据库的校验，是根据用户业务需求，对所抽取的数据中的数据的类型、字段、长度、是否可为空等进行校验。

数据校验配置就是对需要检验的数据表、数据字段和检验方式进行配置。数据校验是对单表或两表之间的简单数据检验。对于非结构化的数据，则首先对数据文件的完整性进行校验，然后对数据的类型、字段、长度、是否可为空等进行校验，数据校验配置是对需要检验的文件、文件的类型、文件的完整性、文件中的字段、字段的合规性的进行的配置。

根据需要，可对已配置完成校验规则进行配置、查询、修改或删除等操作。对于正在使用的校验规则，不可进行修改或删除操作。 数据清洗规则管理

数据清洗规则配置是根据数据出错的三方面因素，对抽取的各业务系统的业务数据进行整体、全面的梳理工作。

数据清洗规则配置包括：选择数据配置的数据源，选择配置的数据表，选择关联的数据表，选择数据字段和关联字段，选择校验规则方式，选择校验条件，生成预览结果，保存数据清洗规则，启用停用清洗规则，修改数据规则，删除清洗规则等。

根据需要，可对已配置完成清洗规则进行配置、查询、修改或删除等操作。对于正在使用的清洗规则，不可进行修改或删除操作。 数据匹配规则管理

数据匹配是将全工商、质监、知识产权局的各业务系统数据进行有机的关联，如将监管、案件、消保等数据与主体信息进行关联。数据匹配规则是指设定关联字段如注册号、企业名称等。

根据匹配规则，系统自动将各业务系统数据表中的数据进行关联，在进行查询服务时，可将主体所有的相关信息进行展示。

根据需要，可对已配置完成匹配规则进行配置、查询、修改或删除等操作。对于正在使用的匹配规则，不可进行修改或删除操作。 数据整合规则管理

数据整合是指按照数据中心数据结构将各业务系统的数据进行重新整理合并，使整个工商、质监、知识产权数据更加合理、紧凑。

数据整合规则是对数据整合的规则进行配置，内容包括：数据中心表名称，源数据名称，数据中心字段名称，源数据字段名称，整合规则等。

根据需要，可对已设置完成的数据整合规则进行配置、查询、修改或删除等操作。对于正在使用的数据整合规则，不可进行修改或删除操作。 数据转换规则管理

数据转换规则是数据比对表，将源数据中需要转化的数据按照表中的对应关系，转化为数据中心所需的数据内容。

数据转规则的内容包括：源表，源表字段，数据中心表，数据中心表字段，数据对应规则等。 根据需要，可对已设置完成的数据转换规则进行配置、查询、修改或删除等操作。对于正在使用的数据转换规则，不可进行修改或删除操作。

可根据需要启用或停用配置完成的数据转换规则。 数据转换结果反馈