探码大数据DB智能化数据服务平台

   

DB智能化数据服务平台是一款基于Hadoop开源计算框架，集成了Apache社区几十个成熟的Hadoop子项目，整合了数据ETL和流程管理功能模块，融合了十几个可直接调用的应用模版而最终形成的面对大数据进行存储、计算、查询、挖掘四大应用方向的基础平台产品。面对各行业用户的大数据应用场景提供了稳定、高效、安全、低成本、可扩展、易使用、快速部署、便于维护的整体解决方案。产品完全兼容各种x86架构的硬件服务器和所有主流Linux操作系统，可以无缝对接上层多种主流应用产品，如SAS、Pentaho、Talend、Tableau、R Studio等先进的商业智能和数据挖掘工具。

DB智能化数据服务平台采用廉价设备搭建高性能集群，有效的提升 IT 信息化建设的性价比；帮助企业快速实现大数据平台系统的搭建和使用；为客户提供技术创新、业务完善/创新的经验咨询；大量项目经验沉淀下来的应用模版，节省大量的应用设计和开发的时间成本；可以帮助用户快速实现应用系统的无缝迁移；提供多种数据分析和挖掘的手段、方法和工具，快速就绪推动业务的能力；为客户提供大数据基础平台，方便未来对数据的深度挖掘，实现新的利润增长点；专业的培训服务让客户快速具备基础的技术储备。

DB智能化数据服务平台帮助客户每天的数据加工和数据整理时间缩短至原来的二分之一甚至更少；完成客户的多个系统的改造，实现各种服务的前移和质量提升；实现业务的创新推动，完成改造、处理、分析，直到实践、收益的闭环；实现原有数据仓库的消费化；实现更多企业外部数据的获取和跨行业合作。

探码DB智能化数据服务平台主要技术指标

1、数据采集

要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。

2、数据存储

数据经过采集和转换之后，需要存储归档。针对海量的大数据，一般采用分布式文件系统和分布式数据库存储方式，把数据分布到多个存储节点上，同时还需制定备份、安全、访问接口及协议等机制

3、数据挖掘

基于对用户的结构和行为特征深入挖掘，协助企业进行有效的CRM管理，有效提升营销效果，结合消费者的购买（消费）行为的跟踪分析，协助企业进行有效的品类和渠道管理，提高企业运营效率。

4、数据分析处理

有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。

DB智能化数据服务平台关键技术

数据采集、数据预处理、数据存储及管理、数据分析及挖掘、数据展现和应用。

 

DB智能化数据服务平台产品拥有两大功能特点：

一是基础平台功能

1、存：Hadoop 核心计算框架的分布式体系架构可以完美的解决海量数据的快速、稳定、高可用、低成本的数据存储。不需要高端的服务器和存储硬件就可以实现 TB 级别的数据在几十分钟的速度级别实现多副本存储。

2)、算：为了实现数据的全面性，各种类型的数据不是简单的整合，而是要进行相互关联在一起的融合。分布式架构高效的实现了“人多力量大”的优势，将计算任务合理切割，分散执行。达到了传统成本高昂的小型机和存储阵列望尘莫及的计算速度。

3、 查：动辄千亿条记录中精确或模糊查询少量几条记录恰恰是 DB智能化数据服务平台能够体现超高性能的应用场景。高并发、毫秒级响应的特性大大提升了客户系统的服务能力和企业的核心竞争力。

4)、挖：数据价值的再发现和再利用，是进行数据分析挖掘的最终目标。快码DB智能化数据服务平台可以面向结构化、非结构化数据的混合数据集进行多种算法挖掘。包括语义计算、行为计算、关联关系计算和视觉计算。

二是应用支撑功能

1、 应用模版：快码DB智能化数据服务平台帮助企业快速搭建大数据系统平台，定义好的模板功能大幅度降低了 Hadoop 相关组件企业应用的门槛，针对典型企业应用场景，提供最佳实践部署模板。所有模板都是基于历史案例和经验沉淀下来的切实可用的最佳实践。

2、 DB智能化数据服务平台为软硬一体化解决方案，采用全分布式大数据处理架构，将硬件、软件整合在一个体系中，分别对软硬件进行定制化，从而保证整体性能及稳定性。可通过纵向扩展硬件得到提升，也可通过横向增加节点进行线性扩展。

3、 NLP 引擎，快码DB智能化数据服务平台自然语言算法引擎产品帮助企业在大数据时代轻松应对“数据冶炼”，自如施展“企业智慧”，使企业能够依靠无法简单复制的核心竞争力保持领先地位。

DB智能化数据服务平台创新点五位一体化解决方案：

1、大数据基础平台：一键部署大数据集群搭建，简化大数据平台运维难度

2、大数据采集组件：实现跨数据源、跨平台数据采集、解决大数据整合难题

3、大数据挖掘平台：提供多种数据挖掘算法，实现海量数据挖掘分析，促使业务智能化

4、大数据多维度数据库：提供海量数据存储，实现多维数据透视，全方位掌握运营情况

5、大数据可视化：数据可视化是大数据展示应用的重要方式，用户可通过可视化快速提升认知能力。

DB智能化数据服务平台在设计架构的3个主要需求：

1、数据开发：使得公司数据集中形成数据开放，在保障数据安全性的前提下，提供自助化服务平台，满足快速增长的需求。

2、专业化：从提供大量独立的系统/工具转变为提供集成、一体化、自动化数据开放平台服务。对来源于各个业务块的数据进行整合和深入挖掘产生用户信息，为业务提供有价值的服务，并且快速孵化更多的数据应用。

3、成本与性能：优化平台存储和计算方案，优化数据模型和算法，去除重复计算和存储，提升平台能力并降低成本。

DB智能化数据服务平台安全性

• 安全授权

    DB智能化数据服务平台可以控制数据访问，并对已通过验证的用户提供数据访问特权。

• 细粒度访问控制

    DB智能化数据服务平台支持细粒度的Hadoop数据和元数据访问控制；在服务器、数据库、表和视图范围提供了不同特权级别的访问控制，包括查找、插入等；允许管理员使用视图限制对行或列的访问，支持字段级别的访问控制；

• 基于角色的管理

   DB智能化数据服务平台通过基于角色的授权简化了管理，可以将访问同一数据集的不同特权级别授予多个组。

• 多租户管理

   DB智能化数据服务平台允许为委派给不同管理员的不同数据集设置权限。

• 机器级别的安全认证

对可信任的客户端提供认证，确保他们可以执行作业的相关操作。防止用户恶意冒充client提交任务。即使伪装成用户入侵到一个HDFS 或者MapReduce集群上，也无法读取HDFS上的数据。