大数据平台产品及架构

作者：探码科技，原文链接： http://www.tanmer.com/bigdata/228

大数据平台定义

大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据平台是为了计算现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。

行业大数据应用面对的挑战

硬件无法更根数据规模的指数级增长
复杂数据算法与业务模型衔接
过于分散和原始成为大数据应用的障碍
诸多大数据并行计算架构的选择
大数据应用实现路径从哪儿开始
专业人才匮乏

大数据平台产品架构分类

大数据平台概览

大数据交换汇集平台

如上图可以看到大数据交换汇集平台划分为三大模块：首先是原始数据源，特点是分散、种类多样化、时效性差异大；其次是大数据采集交换区，特点是多种技术手段，平台化系统，快速部署，统一管理；最后是数据湖为大数据应用提供全兼容数据存储。

大数据交换汇集平台架构

ETL核心架构

丰富的ETL构件库

大数据交换平台特点

为数据集成、数据整合、数据中心建设、基于复杂数据流的数据处理提供稳定高效的数据支撑。

大数据治理平台

元数据标准管理

不同政府部门根据自身的业务特点，对数据元中的对象类词或特性词进行限定，生成新的数据元。例如，对于数据元“年”，财政部门可以将其扩展为“财政年度”；又如，对于数据元“姓名”，税务部门可以将其扩展为“纳税人名称”。需要注意的是，扩展后的数据元与原数据元相比，在定义、数据类型、数据格式、值域等属性上不能出现不一致或矛盾的现象。

数据元管理功能：

（1）提供对数据元进行新增，修改，删除，导出，导入等功能；

（2）支持分数据元类目对数据元进行管理和维护；

（3）提供对数据元类目进行新增，修改，删除操作，用户可以根据自己需要自定义数据元类目，然后对数据元进行管理；

（4）支持按照数据元名称、标记等不同维度对数据元进行查找，方便用户对数据元的定义、格式等关键信息进行了解。

段码数据标准管理

段码管理主要是对信息类的编码进行管理，它分为：前段码和后段码；其中，前段码的分配需要办理人员向管理人员提出需求后，交由管理人员统一分配，避免信息重复。后段码为信息类进行审核并发布后，在后段码管理中对信息类的后段码信息进行查询。

前段码由5位数字组成，后段码由7位数字和字母组成，其中前2位主要区分不同的部门，由省级目录管理者分配编号，第3位为大写字母，标识信息类所属类型，由各部门定义，第4位为大写字母，标识信息类主体类型，第5~7位由数字组成，由顺序号001~999组成；

信息类管理

信息类，描述一个数据对象（如建设审批项目），在不同单位、不同系统间，肯定具有不同的名称定义。为了尽量消除这种定义的差异性，通过信息类管理，把同一信息（信息类）的不同构成定义（信息项）进行对应，对于定义是否保持一致性进行审核。这也是【数据一致性】的关键管理功能。

如：创建一个信息类“项目审批信息”，其中包含的信息项有“名称、类别、建设单位、建设规模、投资概算、资金来源、建设地点、批准文号”等。

功能定义：

信息类生产者在管理界面新增/修改信息
审核人员对其进行审核或回退
执行回退时，该信息类交由生产者重新修改
执行审核后，则可对其进行发布，发布完成后可供创建数据库表使用

数据资源目录

支持逐级对不同的目录类型（如主题目录，资源形态目录等）的目录进行新增、修改、删除等操作，并支持对目录进行编号以及对目录类型的增加、修改、删除等功能。从目录标准管理，到目录检索。

信息类授权

主要是对部门能查看信息类的范围进行授权，配置的相关部门将在资源检索中查看到相关信息。如：管理人员选中授权部门勾选一个或多个信息类进行保存后，选中的授权部门在资源检索中能够查看到授权时勾选的信息类信息。

质量管理系统——规则定义

制定统一的数据质量校验体系，统一数据质量度量、数据质量逻辑处理、执行的规范化步骤，可提升整体数据质量。对不满足要求的数据，可快速分析出数据的问题并闭环处理。

数据质量校验规则是为源系统中存在的数据质量问题建立标准数据规范，从而得到有效的、可用的数据；支持选择需要建立规则的业务数据，创建业务规则；支持创建通用规则，包括：完整性校验、一致性校验、数据正确性校验、准确性校验（是否允许为空、数据长度）；支持可按照不同目录下信息类的数据项，根据业务逻辑要求，进行条件配置；

质量管理系统

通过制定的规则、基础数据、数据映射关系，创建需要执行的质量校验任务；任务管理支持可按任务名称、任务目录、状态进行多维度查询；支持启停操作和删除操作；采用规则引擎的方式针对数据进行清洗处理。

根据规范的校验问题的处理流程，对规则校验未通过的数据提供问题数据质量闭环管理功能；在问题治理人员的台账中显示未通过规则校验的数据，问题治理人员对数据进行处理了，并对该问题进行回复。

问题数据治理管理支持可按（执行任务所属的部门、任务ID、任务处理状态、处理时间）进行多维度查询；能够根据查询条件，多维度的查询想到分析的数据；能够通过系统数据，输出数据质量报告；实时分析数据质量趋势；实时分析数据质量占比（成功数、失败数）；可根据使用习惯，按照（柱状图、趋势图、原型图等）多种查询模式；