另类数据之电商应用建设方案

另类数据又称替换数据，泛指区别于传统数据的有价值的信息。它可以提供不同视角的市场洞察，提升数据模拟准确性。

价格库存数据可视化

什么是另类数据？

另类数据，即非传统数据，泛指区别于传统金融数据的有价值的信息。它是传统金融数据的补充，可以提供不同视角的市场洞察，提升数据模拟准确性。传统金融数据是指通过常规渠道获得的数据，例如股票、债券等的交易数据、上市公司年报和财务数据、银行用户的借贷数据等。另类数据不同于传统数据，是典型的“大”数据，主要体现在三个方面：

• 一是体量大，体现在规模和传输量；
• 二是流动速度大，数据实时或接近实时获取和传输；
• 三是种类多，数据结构形式多样。

需求分析

Adidas商家希望能够在官网平台上监控Adidas的产品有无货状态，能够及时提醒产品状态的变化，同时通过产品号可查询到货源状态。当货源状态发生改变时（如从无货变为有货，从有货变为无货），能够及时的通知到自营电商部门，电商部门可实现动态价格调整。

使用对象：品牌电商部、品牌运营部、库管部、品牌投资人......

实施方案

经过需求方与我方对需求专业与详细的分析以后，这应该是一个另类数据的应用。该项目充分利用探码科技的优势，以及现有的成熟产品Web采集系统进行项目开展。首先为其部署了Web采集系统，对Adidas在官网平台上所需要的产品号列入到采集名单中，实时采集存储，及时预警处理。采集的这些字节字段对实时性与准确性要求都非常的高，基于此标准，充分体现了Web采集系统的强大功能，并及时在系统通知货源状态，同时接通短信运营商接口以短信形式通知运营人员。

• 大数据集群系统：本系统可以储存TB级采集到的数据，实现数据持久化。数据存储采用MongoDB集群方案。
• 数据采集系统：本系统配置Kapow、PhantomJS、Mechanize采集环境，运行于Docker容器中，由Rancher编排容器。
• 采集数据源调研：本系统是在“数据爬虫系统”开始之前，必不可少的一个环节，经过调研，得出需要采集页面、过滤的关键字、需要提取的内容等。
• 数据爬虫系统：爬虫程序都是独立的个体，结合需要的数据采集系统服务器，通过Rancher编排，自动在DigitalOcean中启动爬虫程序，根据输入参数，抓取到指定的数据，然后通过API发送回我们的大数据集群系统。
• 数据清洗系统：本系统通过Ruby on Rails + Vue技术框架，通过Web前端展示出抓取到的数据，对数据进行直观分析，得出哪些条件的数据需要删除，哪些条件的数据需要修改。
• 数据合并系统：本系统通过Ruby on Rails + Vue技术框架，实现Web前端展示，对数据进行合并。数据被清洗之后，数据合并系统会自动匹配大数据集群中的数据，通过相识度评分，关联可能相识的数据。通过Web前端展示匹配结果，可以人工或自动合并数据。
• 任务调度系统：本系统通过Ruby on Rails + Vue技术框架，Sidekiq队列调度，Redis调度数据持久化，实现Web前端任务调度系统。通过任务调度系统，可以动态开启、关闭，定时启动爬虫程序。
• 搜索引擎系统：本系统通过ElasticSearch集群，实现搜索引擎服务。搜索引擎是PC端检索系统能够从大数据集群中、快速地检索数据的必要工具。
• 数据可视化：采用图标形式展示采集数据，并设置预警提示库存量。

另类数据的更多应用

另类数据不仅可以用到品牌电商，监控状态，提供品牌投资决策，同时也可以用到其他更多的场景。如：

1. 监控同行电商价格；
2. 监控机票航班价格变动，自动调低定价；
3. 另类数据的应用：指数保险，大豆投保参考阳光温度；
4. 监控超市的运行情况。
5. 另类数据的全面解析与24种场景应用