探码科技：如何帮你实现企业数据资产化

在大数据技术高度发展的现在，未来公司的核心就是数据！探码科技就是帮你把数据资产化的公司

成都探码科技有限公司（简称探码科技）于2015年9月成立，公司总部位于成都，并在美国设立分公司服务海外客户。由清华海归创业团队组建，具有10多年国内外项目研发积累，擅长美国互联网前沿技术，崇尚硅谷创业模式，自主研发有核心技术。是国内比较早的ROR开发团队，并在网络数据采集，大数据解析方面具有突出的能力。针对创业公司，我们率先推出技术轻合伙模式，已成功服务多家创业公司；针对传统企业，推出的直达客全网O2O营销方案已成功运行上百个网站，同时也精诚为各大企业提供高端信息技术咨询和产品策划。同时探码科技依托自研强大的大数据技术核心，致力于大数据产业生态链的构建，致力于海量数据的资产化运营，致力于大数据应用，模型算法，数据分析，机器学习的理论研究。公司已在互联网、金融机构、政府园区、文化广电等行业实现产品应用。

主营业务

智慧城市产品

智慧医疗平台：智慧医疗是综合应用医疗物联网、数据融合传输交换、云计算、城域网等技术,以“医疗云数据中心”为核心，实现医疗服务最优化的医疗体系
智慧水务平台：全天候监测漏水等问题，轻松解决节水、漏水等问题
物联网应用平台：基于物联网应用基础服务平台进行物联网应用建设，各行业应用在数据和业务层次进行不同程度的融合，全面实现成都市物联网应用的互联互通和智能处理。

大数据产品

DB智能化数据服务平台：利用稳定的分布式计算架构和先进的机器学习引擎实现了满足行业企业客户建设大数据基础平台体系的一整套产品解决方案。
WEB数据采集服务：专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具。
TMDash数据可视化：大数据小数据一天实现可视化分析。无需像传统的BI一样建二次表、Cube、复杂模型，直接导入细节数据即可通过拖拽快速生成分析表
机器学习工具：机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍਀人工智能的各个领域，包括分类、协同过滤、聚类分析、统计分析等理论方法。在基于DB智能数据服务平台开发及应用示范之上的机器学习引擎为基于分布式平台的数据挖掘提供了算法支撑，能够处理海量数据的实时挖掘，以 Map-Reduce 的集群实现了多个算法功能模块。
云自然语言处理 NLP 工具：自然语言处理引擎利用自然语言处理知识体系，结合机器学习方法，为企业客户提供了基于海量文本数据的信息抽取工作。
复杂网络开发分析 BDCN 工具：为了便于复杂网络分析使用以਀相关应用系统的开发，并且能在海量数据下提供高性能的支撑，项目基于 Hadoop 大数据技术，研发复杂网络开发分析平台（产品），简称 BDCN（全称 Beagle Data Complex Network）。
SQL 工具：SQL 引擎提供了一个统一数据分析接口。通过提供一个跨多个数据存储的单一视图来实现数据分析任务切分。

核心技术-探码Web大数据采集系统

构建背景

2017年，探码科技开发一个金融行业投融资交易大数据平台，在项目进行前期，需要对资料的搜集准备和数据源的整理，最后整理出来了很多需要采集的数据源，为了进一步落实数据源的数据量、是否有采集价值、采集价值有多大等一列问题，探码科技研发了一套探码Web数据源采集分析系统。

Web数据源采集分析分为2种

第一种是是对网站访客行为的分析，即包括：网站流量报告，电子邮件回应率、直接邮件活动资料、销售与客户资料、使用者效能资料如点击热点地图、或者其他自订需求资讯等等，然后进行行为分析，最终形成网络数据报告，以此来了解和优化网站
第二种是是爬取整个网站数据源资料、栏目、项目等进行数据源的采集，然后进行分析形成信息数据报告

这些采集的web资料最终用在：产生潜在的客户列表；从竞争对手中收集企业所需信息；抓取新兴业务数据；建立企业的产品目录；整合行业信息，辅助经营决策；确定新客户，增加新订单；挖掘老客户，获取利益……总之，Web页面内容所显示的即可采集进行分析形成可视化为企业所用。

运用技术

探码Web数据源采集分析系统主要采用Ruby on Rails + vue.js + Bootstrap实现数据源分析系统的后台和前端展示的搭建。根据各行业的需求可将整体分为多个模块多种形式进行可视化。其主要的步骤：1、从目标Web文档中获得待采集信息；2、判断待采集信息类型是否是所需数据，3、剔除无用的、重复的信息数据，按照所需信息数据进行过滤校验；4、保存所需数据。

探码web数据分析系统的优势

全方位的采集：只要是Web页面可以看见的内容都可以采集，采集的内容数据包括文字、图片、flash动画、视频等各类内容；
可实现复杂的对象的采集：可实现正文和回复内容的同时采集，一级页面二级页面内容也可轻松实现合并，采集的内容可以是分散在多个页面内，结果可以是复杂的父子表结构
采集速度比普通采集快：探码Web数据源采集分析系统采用前沿先进的技术，可运行多条线程同时抓取采集，采集速度比普通采集快上很多倍；
精准度高，覆盖面广：只要能在Web页面中可以看到的内容，几乎都可以按照需要的格式、所需信息数据进行采集。
数据可视化，结果输出多样化：采集的信息数据可采用探码TMDash可视化，呈现给企业，简单易读易懂。

技术突破-数塔•Datale企业大数据评价系统

数塔•Datale是探码科技基于机器学习的企业评价系统，收录了全国3000多万企业数据，是一个基于大数据采集、机器学习、模型算法、知识图谱、时序分析的企业大数据平台。

服务对象

致力于为政府、金融机构、中小企业提供各种专业的大数据智能服务。从企业查询、获客、成长性评价、授信分析、舆情预警等业务场景出发，帮助政府机构，园区大幅提升信息管理水平。帮助金融机构实现科学化的项目投资分析。

技术运用

利用分布式高性能网络爬虫实时采集非结构化大数据、清洗降噪并转换为规范的结构化数据，利用卷积神经网络、LDA 聚类、支持向量机等机器学习算法，从多源异构数据中提取高相关性风险因子，构建一个覆盖全面、权重合理、可量化的行业特征风险模型：对非法集资风险趋势进行模拟、对企业DNA进行全面刻画、精准定位企业非法集资风险点。

核心亮点-企业成长性评价

利用机器学习技术从企业的基础能力、信用风险、创新发展、企业成长、项目效益、管理效率六大维度学习专家打分，模仿专家对企业价值评价的决策过程。首先建立评价模型，通过自动高效地对上传数据的企业进行多维度、全方位解析，反映企业价值，反映企业成长性与成长趋势。它是一种对企业的持续分析与动态评价。最终形成一套企业成长性评价报告，是基于大数据与机器学习技术建立起企业成长性评价模型的结果体现。