另类数据之电商应用建设方案


另类数据又称替换数据,泛指区别于传统数据的有价值的信息。它可以提供不同视角的市场洞察,提升数据模拟准确性。

价格库存数据可视化

什么是另类数据?

另类数据,即非传统数据,泛指区别于传统金融数据的有价值的信息。它是传统金融数据的补充,可以提供不同视角的市场洞察,提升数据模拟准确性。传统金融数据是指通过常规渠道获得的数据,例如股票、债券等的交易数据、上市公司年报和财务数据、银行用户的借贷数据等。另类数据不同于传统数据,是典型的“大”数据,主要体现在三个方面:

  • 一是体量大,体现在规模和传输量;
  • 二是流动速度大,数据实时或接近实时获取和传输;
  • 三是种类多,数据结构形式多样。

需求分析

Adidas商家希望能够在官网平台上监控Adidas的产品有无货状态,能够及时提醒产品状态的变化,同时通过产品号可查询到货源状态。当货源状态发生改变时(如从无货变为有货,从有货变为无货),能够及时的通知到自营电商部门,电商部门可实现动态价格调整。

使用对象:品牌电商部、品牌运营部、库管部、品牌投资人......

实施方案

经过需求方与我方对需求专业与详细的分析以后,这应该是一个另类数据的应用。该项目充分利用探码科技的优势,以及现有的成熟产品Web采集系统进行项目开展。首先为其部署了Web采集系统,对Adidas在官网平台上所需要的产品号列入到采集名单中,实时采集存储,及时预警处理。采集的这些字节字段对实时性与准确性要求都非常的高,基于此标准,充分体现了Web采集系统的强大功能,并及时在系统通知货源状态,同时接通短信运营商接口以短信形式通知运营人员。

  • 大数据集群系统:本系统可以储存TB级采集到的数据,实现数据持久化。数据存储采用MongoDB集群方案。
  • 数据采集系统:本系统配置Kapow、PhantomJS、Mechanize采集环境,运行于Docker容器中,由Rancher编排容器。
  • 采集数据源调研:本系统是在“数据爬虫系统”开始之前,必不可少的一个环节,经过调研,得出需要采集页面、过滤的关键字、需要提取的内容等。
  • 数据爬虫系统:爬虫程序都是独立的个体,结合需要的数据采集系统服务器,通过Rancher编排,自动在DigitalOcean中启动爬虫程序,根据输入参数,抓取到指定的数据,然后通过API发送回我们的大数据集群系统。
  • 数据清洗系统:本系统通过Ruby on Rails + Vue技术框架,通过Web前端展示出抓取到的数据,对数据进行直观分析,得出哪些条件的数据需要删除,哪些条件的数据需要修改。
  • 数据合并系统:本系统通过Ruby on Rails + Vue技术框架,实现Web前端展示,对数据进行合并。数据被清洗之后,数据合并系统会自动匹配大数据集群中的数据,通过相识度评分,关联可能相识的数据。通过Web前端展示匹配结果,可以人工或自动合并数据。
  • 任务调度系统:本系统通过Ruby on Rails + Vue技术框架,Sidekiq队列调度,Redis调度数据持久化,实现Web前端任务调度系统。通过任务调度系统,可以动态开启、关闭,定时启动爬虫程序。
  • 搜索引擎系统:本系统通过ElasticSearch集群,实现搜索引擎服务。搜索引擎是PC端检索系统能够从大数据集群中、快速地检索数据的必要工具。
  • 数据可视化:采用图标形式展示采集数据,并设置预警提示库存量。

另类数据的更多应用

另类数据不仅可以用到品牌电商,监控状态,提供品牌投资决策,同时也可以用到其他更多的场景。如:

  1. 监控同行电商价格;
  2. 监控机票航班价格变动,自动调低定价;
  3. 另类数据的应用:指数保险,大豆投保参考阳光温度;
  4. 监控超市的运行情况。
  5. 另类数据的全面解析与24种场景应用

蜀ICP备15035023号-4