数据中台项目建设方案


数据中台的建设能够把企业海量的死/活数据变成资产并有效利用,使数据持续地服务于业务,实现春风化雨、润物无声的目标

探码数据中台探码数据中台方法论

方案概述

客户对象: 垂直门户平台,行业营销中心,数据信息化部门

典型描述:客户作为专业的行业门户平台,为商业用户提供及时、全面、准确、权威的行业新闻、产品、设计、应用和市场信息,同时也为产品的最终消费者提供集交易 、生活 、娱乐于一体的综合服务,是上下游企业推广商务应用、产品及方案、进行市场调查、提升品牌形象的专业首选平台。
解决目标: 探码科技结合客户在垂直行业领域的深刻理解及沉淀,利用技术手段,设计出一款能够解决客户当前在内部各部门数据孤立、数据清理工作困难、数据分析能力薄弱的问题,降低服务成本,提升服务效率。

项目需求

需要貴公司提供的完整的数据应用服务,涵盖企业数据管理全流程:数据采集、数据清理、数据存储、数据计算框架、数据分析报表输出、管理仪表盘等可视化应用、数据挖掘模型设计开发与维护等,帮助企业建立“以数据还原历史,以数据管理现在,以数据预测未来”的数据驱动机制,提高企业运营效率和效能、市场快速响应能力和产品开发能力,提高投入产出比。

数据中台

项目需求

解决方案

这是一个通用的大数据平台项目:首先部署一套大数据平台,帮助收集、归纳、整理数据。把数据集中以后,基于一个统一的分析平台,数据工程师可以去分析它,商业智能实验, 得到一些决策信息(这里如果是有用的决策信息,那么就可以反推给企业带来了什么收益,也有可能得到一些无用的决策洞察)。

数据中台

探码数据中台-围绕着大数据开发、大数据应用两个核心阶段展开为用户搭建了一个强大的数据清洗、存储、分析的平台。支持多元异构数据的存储,支持不同字符的数据集成。强大的模型算法支持数据的实时多维分析,并且根据检索的元素生成对应的数据画像,支持营销决策。通过有形的产品支撑和实施方法论,解决企业面临的数据孤岛、数据维护混乱、数据价值利用低的问题。

探码科技基于云计算研发的探码Web大数据集成系统,利用众多的云计算服务器协同工作,能快速采集大量的多源异构数据,从而解决了客户内部数据零散,且数据清洗繁琐的问题。数据整合分为7个子系统,分别为大数据集群系统、数据调研、数据清洗、数据合并、任务调度、搜索引擎系统、数据分析。

  1. 大数据集群系统:本系统可以储存TB级数据,实现数据持久化。数据存储采用MongoDB集群方案。
  2. 数据源调研:本系统是在“数据集成系统”开始之前,必不可少的一个环节,经过调研,得出客户内部需要集成的数据、过滤的关键字、需要提取的内容等。
  3. 数据清洗系统:通过Web前端展示出集合的数据,对数据进行直观分析,得出哪些条件的数据需要删除,哪些条件的数据需要修改。我们把这种模式记录在程序里,将来的数据只要匹配这种模式,数据将来会被自动清洗,不再需要人工清洗。
  4. 数据合并系统:本系统通过微服务技术框架,实现Web前端展示,对数据进行合并。数据被清洗之后,数据合并系统会自动匹配大数据集群中的数据,通过相识度评分,关联可能相识的数据。通过Web前端展示匹配结果,可以人工或自动合并数据。
  5. 任务调度系统:本系统通过Sidekiq队列调度,Redis调度数据持久化,实现Web前端任务调度系统。通过任务调度系统,可以动态开启、关闭,定时启动数据整合的程序。
  6. 搜索引擎系统:本系统通过ElasticSearch集群,实现搜索引擎服务。搜索引擎是PC端检索系统能够从大数据集群中、快速地检索数据的必要工具。
  7. 数据分析:数据分析处理中心含概了二大核心功能:一种是用于构建数据流程,另一种是用于在整个组织中共享和管理流程的。

总结

在数字化转型的关键时期,以客户为中心的理念将会持续地影响企业的商业决策,而以数据中台为核心的洞察系统,将会通过建立数据技术、数据体系和数据服务的全流程平台,驱动企业稳健行动,并且支持大规模商业模式创新,帮助企业构筑坚实壁垒以保持持续领先的竞争优势。

蜀ICP备15035023号-4