数据中台项目建设方案

数据中台的建设能够把企业海量的死/活数据变成资产并有效利用，使数据持续地服务于业务，实现春风化雨、润物无声的目标

探码数据中台方法论

方案概述

客户对象： 垂直门户平台，行业营销中心，数据信息化部门

典型描述：客户作为专业的行业门户平台，为商业用户提供及时、全面、准确、权威的行业新闻、产品、设计、应用和市场信息，同时也为产品的最终消费者提供集交易 、生活 、娱乐于一体的综合服务，是上下游企业推广商务应用、产品及方案、进行市场调查、提升品牌形象的专业首选平台。
解决目标： 探码科技结合客户在垂直行业领域的深刻理解及沉淀，利用技术手段，设计出一款能够解决客户当前在内部各部门数据孤立、数据清理工作困难、数据分析能力薄弱的问题，降低服务成本，提升服务效率。

项目需求

需要貴公司提供的完整的数据应用服务，涵盖企业数据管理全流程：数据采集、数据清理、数据存储、数据计算框架、数据分析报表输出、管理仪表盘等可视化应用、数据挖掘模型设计开发与维护等，帮助企业建立“以数据还原历史，以数据管理现在，以数据预测未来”的数据驱动机制，提高企业运营效率和效能、市场快速响应能力和产品开发能力，提高投入产出比。

项目需求

解决方案

这是一个通用的大数据平台项目：首先部署一套大数据平台，帮助收集、归纳、整理数据。把数据集中以后，基于一个统一的分析平台，数据工程师可以去分析它，商业智能实验， 得到一些决策信息（这里如果是有用的决策信息，那么就可以反推给企业带来了什么收益，也有可能得到一些无用的决策洞察）。

数据中台

探码数据中台-围绕着大数据开发、大数据应用两个核心阶段展开为用户搭建了一个强大的数据清洗、存储、分析的平台。支持多元异构数据的存储，支持不同字符的数据集成。强大的模型算法支持数据的实时多维分析，并且根据检索的元素生成对应的数据画像，支持营销决策。通过有形的产品支撑和实施方法论，解决企业面临的数据孤岛、数据维护混乱、数据价值利用低的问题。

探码科技基于云计算研发的探码Web大数据集成系统，利用众多的云计算服务器协同工作，能快速采集大量的多源异构数据，从而解决了客户内部数据零散，且数据清洗繁琐的问题。数据整合分为7个子系统，分别为大数据集群系统、数据调研、数据清洗、数据合并、任务调度、搜索引擎系统、数据分析。

1. 大数据集群系统：本系统可以储存TB级数据，实现数据持久化。数据存储采用MongoDB集群方案。
2. 数据源调研：本系统是在“数据集成系统”开始之前，必不可少的一个环节，经过调研，得出客户内部需要集成的数据、过滤的关键字、需要提取的内容等。
3. 数据清洗系统：通过Web前端展示出集合的数据，对数据进行直观分析，得出哪些条件的数据需要删除，哪些条件的数据需要修改。我们把这种模式记录在程序里，将来的数据只要匹配这种模式，数据将来会被自动清洗，不再需要人工清洗。
4. 数据合并系统：本系统通过微服务技术框架，实现Web前端展示，对数据进行合并。数据被清洗之后，数据合并系统会自动匹配大数据集群中的数据，通过相识度评分，关联可能相识的数据。通过Web前端展示匹配结果，可以人工或自动合并数据。
5. 任务调度系统：本系统通过Sidekiq队列调度，Redis调度数据持久化，实现Web前端任务调度系统。通过任务调度系统，可以动态开启、关闭，定时启动数据整合的程序。
6. 搜索引擎系统：本系统通过ElasticSearch集群，实现搜索引擎服务。搜索引擎是PC端检索系统能够从大数据集群中、快速地检索数据的必要工具。
7. 数据分析：数据分析处理中心含概了二大核心功能：一种是用于构建数据流程，另一种是用于在整个组织中共享和管理流程的。

总结

在数字化转型的关键时期，以客户为中心的理念将会持续地影响企业的商业决策，而以数据中台为核心的洞察系统，将会通过建立数据技术、数据体系和数据服务的全流程平台，驱动企业稳健行动，并且支持大规模商业模式创新，帮助企业构筑坚实壁垒以保持持续领先的竞争优势。