交通大数据之用 - 图文

深度·观察OBSERVATION

交通大数据之用

文/北京久其软件股份有限公司???王渤

曾几何时，“大数据”概念在国内喧嚣直上，但交通行业的大数据应用却刚刚被引入。去年当人们还在谈论着交通“大数据”的种种概念、模型、用途等，短短一年时间，再回头看时，交通大数据技术和应用在国内已是如火如荼。交通行业的大数据应用，很是让人着迷，众多数据处理企业纷纷落地生根。虽然国外在大数据分析与处理方面，无论从技术到应用都早于我国，但我国会迎头赶上，实现弯道超车。

大数据为改善交通问题提供了新的技术思路，大数据技术的应用提高了交通规划的能力，改进了交通出行的方式，提高了交通管理和出行服务水平，同时也推动了我国交通建设科学化、交通管理智能化、交通出行智慧化地健康有序协调发展。

最初数据整合、打破“信息孤岛”的目标。

业务运营监控，是基于数据基础管理对数据路径的分析，是对业务异常的智能分析，是企业自主进行数据管控、数据集合、数据的业务对照，即企业管理与经营能力的提升内容，是实现业务层面互联互通，整合“信息碎片”的目标。

用户的体验优化，是大数据使用的服务对象对大数据分析后提升服务的反馈，用户的体验由于大数据技术而得到优化和改善，同时又反作用于大数据本身，以充实大数据中的有效成份，是进一步实现互联网技术业务应用的目标。

精细化运营与服务，在通过用户

体验优化的基础上，企业可在大数据应用反馈后，分析用户的潜在需求，提供更加精准的服务、个性化的服务，全面掌握用户的使用生命周期。通过数据建设，对数据进行一定程度的挖掘，进行运营方向的质量评估，改善运营策略和运营环境，提高管理水平。

在金字塔的再上一层，是通过大数据的历史结果和趋势分析，创造市场需求的预期，增强企业的发展潜力。这一阶段是人们真正理解的“大数据”，能够集成所有边缘化的、关联性的数据源，通过大数据技术分析计算，从而优化投资，是企业大数据应用的更高环节，也是人们期待的真正大数据时代。

在大数据应用金字塔的顶端，是

大数据之用

大数据应用的模型

大数据的应用，在企业已经有多年的实践，对企业的帮助显而易见，大数据在企业中的应用目标是金字塔模型式的，即从数据的采集开始到大数据终极应用逐渐升级，并将该模型逐渐应用到交通行业上。

数据基础管理，是大数据应用模型中的塔基，是大数据应用的最基本要求。完成数据的原始积累，即数据的采集、清洗、整合等，是

大数据应用的金字塔模型

62

2018.18

责任编辑/赵晓夏 美术编辑/李仪灵

大数据企业应用中的最高境界也是理想状态，即实现企业的趋势战略，需要足够大、足够多的历史数据的积累，足够广泛的大数据时空分布，才能够真正的到达金字塔的顶端。

大数据需与行业结合

近几年，交通行业兴起一种“政企合作模式”的信息化建设思路，由企业提供服务、政府采购的方法，充分利用企业的技术优势，提高交通行业信息化的建设水平和应用水平。于是，国内一大批大数据平台应运而生，许多企业都在打造自己的大数据平台并提高大数据处理服务能力。

大数据在使用初期，主要还是通过半人工半计算机辅助化完成大量数据分析，从而得出某一方面的分析结论。数据分析和数据计算能力不断提高，国内企业对大数据技术的研究，已经取得了突飞猛进的成果。

大数据平台的功能目标，可以分为3个层面，即现状分析（对现有数据的聚合、分类、再聚类等）、原因分析（通过大数据之广泛的计算，寻找数据之关联因素）、预测分析（大数据的时间、空间的特征，运用聚合分类能力，挖掘数据之内涵与外延）。大数据平台的采集、管理、计算、输出等一系列功能，形成了“大数据应用系统”。

大数据应用系统的建设，工程上也有3方面，即平台搭建、数据管理和应用创新。平台搭建的过程，是大数据系统建设的基础投入阶段，包括硬件环境和软件功能的实现。数据管理是大数据平台对数据采集、清洗、聚合、分类、管控、稽核、计算等的功能集合。大数据应用系统的建设，需要大量的资金成本来支持，主要包括硬件及运行环境成本（服务器、存

大数据架构在云平台之上的总体逻辑

储和网络、支撑环境等）、系统及技数据平台只是个空壳，没有实际意义。

术实现成本（大数据平台、传统数据所以，由企业开发和建设的大数库、大数据库、商务智能工具、行业据平台，与交通具体管控部门相结合，需求定制等）、超时空范围实施成本通过交通部门的大投入，以及对交通（安装和配置、数据采集、处理与主问题解决的大需求，才使得交通“大题挖掘计算方法等），特别是大数据数据”应用得以迅猛发展。

计算模型、分析模型的研究，是无法交通大数据技术的应用

估量的成本投入。

大数据平台的搭建，是整个大数但是，支撑企业推出优秀大数据据系统建设中的核心，包括两部分，平台的动力，一定是高投入产出比。首先是大数据管控平台，是对数据采大数据技术平台的开发和建设，需要集、梳理、数据建模、共享交换、大投入大量的人力物力，而企业需要通数据计算模型与算法进行整体管理与过大数据平台的应用，给客户带来效配置的平台，是整个大数据系统建设益而产生利润，弥补前期的投入与开的技术核心。其次是大数据分析平台，发。而最大的成本，是数据源成本。是大数据分析展现、对外发布共享交大数据的数据源，必需有足够的数据换的平台，是提供服务和输出大数据量，以满足大数据分析与计算的时空分析和计算结果的平台。

特性。但现在数据已经成为了每个企交通数据的特点是数据量大、数业或者政府的无形资产，大数据系统据结构多样化、数据增长率高符合大的建设，必需先解决数据的互联互通，数据典型特征。同时，交通数据还表没有数据源源不断的补充与积累，大

现为并发量大、实时传输、非关系型

China Highway

63

深度·观察OBSERVATION

和对数据连续性完整性要求不高等特性，如车辆GPS数据和视频监控数据，其数据少量丢包仍然能通过上下文数据补全其丢失的过程数据信息，这类数据流规模小、结构简单、数据持续到达，是归属于大数据之上的流式数据处理的典型样本。

交通大数据系统总体架构交通大数据系统的建设一般架构在交通云平台上，以架构交通数据中心，大数据与云计算之间是手心与手背的关系，缺一不可。基于一个省的交通运输行业的所有基础数据、业务数据、管理数据等，进行梳理、管控和服务，从技术架构上说，一般包括基础设备层、信息资源层、应用支撑层、服务层和应用层等六大层面，以及信息系统的数据标准规范、运维服务规范和数据安全保障规范三大标准规范体系。

交通行业的业务系统、管理系统、服务系统等数据，首先按照归口管理的原则进行整理与接入。数据中心通过数据接口对源数据进行采集与整理，而非数字化的数据资源将通过数据录入的方式进行采集。

大数据的管控与服务基本流程

64

2018.18

交通大数据管控平台的结构

一种交通大数据平台的管控平台

数据中心根据元数据标准和资源时几个G的数据量，信息庞大杂乱，必目录，将采集的各种中间数据按照统需经过大数据平台梳理，将无序数据变一的数据标准处理与整合，形成交通为有序，将无关数据找到关联，而交通行业统一的信息资源目录体系，保存行业数据资源目录建设则是重中之重。

在综合数据库中，数据目录体系，是数据资源是通过信息资源描述大数据平台中的数据建模、数据梳理、项，记录信息资源结构和信息资源属数据服务的基础。

性的数据体系。通过信息资源目录的综合数据库中的数据，通过统一建立，为交通信息资源的采集、分类、的数据共享交换平台，再提供给交通描述、处理、展现、应用和管理提供业务系统、服务系统使用，及提供公统一的标准规范，为分散异构（各委、众和其它行业需求服务。通过基于综局、处室、各企业）的交通信息资源合数据库的数据查询、统计、分析等，的共享和交换提供基础性支撑，实现为交通管理与服务提供辅助支持。

对交通信息资源的识别、导航和定位交通大数据资源目录体系

服务，从而更加有效管理和利用交通交通数据以每秒百万条采集、每小

信息资源。

目录编制的过程，是交通业务梳理、整理和挖掘数据资源、规范数据表示、摸清信息资源家底的过程，主要完成以下两个任务，即数据资源目录的生成，用于整体大数据平台数据处理的基础；数据共享交换目录的建设，用于大数据平台对外的共享交换服务，因为并不是所有数据都可以共享都可以交换，也不是所有数据都适合共享和交换。数据目录管理功能主要包括元数据管理、目录管理、共享交换管理、数据服务管理等，为实现交通信息资源目录的梳理、管理和服务提供技术支持。

交通大数据平台管控中心交通大数据管控中心是对数据进行综合管理、组织与提供服务的后台管理系统，是交通大数据发挥作用的调度中心，其功能包括数据接入、清洗、建模、计算、组织与管理等功能组成，数据管理平台（DMP），让数据孤岛的整合变为现实。具体包括数据目录管理、用户/角色管理、数据日志管理、数据订阅管理、数据分发管理、数据缓存管理、数据路由管理、数据传输管理、数据连接点管理、传输接口自动生成器等功能。

交通大数据共享交换平台从业务功能上讲，共享交换是大数据平台的核心服务，在数据的采集整合、清洗过程中发挥重要的作用，采用统一的数据交换平台、统一的标准规范和技术体系，有利于数据的共享和交互。

技术性能方面，除了共享交换的通用需求外，还需要具备对主流数据库产品的支持能力，支持这些数据库间数据的直接交换；提供对数据表进行行列变换、增量抽取、主从抽取、函数变化、统计合并、多维加载等多

种数据抽取、转换和加载；具有交交通大数据之大，在性能上还必换任务的监控管理能力；支持数据需考虑其执行效率。具备大并发量处交换的工作流机制；抽取和装载时理机制，支持实时与批量数据的均衡能够提供数据转换二次开发的接口。调度；对实时或批量的数据交换业务支持异构数据库间的数据集成与协请求予以响应，支持实时与批量数据同，并保证多数据库（异构或同构）的均衡调度。对大数据包的处理，能之间的全局事务一致性。具有数据在分钟内完成百万级数据的交易（从同步/异步调用和交易冲正机制等功接受请求到处理完成）。

能。针对不同数据库分别提供相匹交通大数据综合分析服务配的高效数据处理引擎；支持多结在技术上，大数据综合分析服务果集的数据处理；支持对文件，接建立在数据服务平台之上，数据服务口等多种数据格式的读取、更新等平台以企业服务总线为核心，依托ESB处理能力。

企业服务总线和JavaEE等应用服务器，

交通大数据分析系统之总体页面

交通大数据分析系统之不同展现

China Highway

65