数据驱动应用(一):整体概述

抽时间将数据驱动的一些内容进行了总结,先整理下面五篇,后续将不断完善。

概述

随着互联网的快速发展和广泛普及,产生的数据也在呈几何倍数增长。数据成了企业至关重要的资源,企业产生、收集和分析的数据也达到了前所未有的规模。从而,进一步加速了大数据技术的快速发展。

近几年,出现了各种驱动技术,包括产品驱动、技术驱动、政策驱动等,大数据也不甘寂寞,于是乎“数据驱动”一词也渐渐热了起来。那么到底什么是数据驱动呢?在讨论数据驱动前,先看几个不同领域的场景:

  • 运营场景:当你在下午五点来到商场时,口碑或者美团自动给你推送“XX火锅优惠券”,正好这就是你非常喜欢吃的火锅店,于是你毫不犹豫地选择去消费。
  • 出行场景:当打滴滴快车出行,到达目的地后发现比预计费用多了一倍,此时滴滴自动提醒你司机是否绕道,点击“是”后自动把你多付的钱退了回来。
  • 运维场景:当系统或者业务在运行过程中出现问题时,自动根据历史数据和当前数据识别该故障故障,并快速止损。
  • 客服场景:当你在支付宝咨询智能客服时,根据你的提问,并结合你的历史操作,给出最佳解答。

数据驱动是指,以公司内部数据(业务数据、系统数据)和公司外部数据为基础,对数据进行组织形成信息,之后利用规则、算法、机器学习、深度学习等手段进一步处理信息,最终形成自动化的决策模型,同时还要形成闭环,自动调整决策模型。当新的情况发生时,系统利用前面建立的决策模型,以人工智能的方式,对新数据进行处理,得到决策结果。

数据金字塔

为了更好地理解数据驱动,我们引入数据分析模型——数据金字塔理论。数据本身是没有意义的,如果它不能转化为信息和知识的话;但如果没有数据,或者数据匮乏,信息和知识的产生也就成了无水之源。数据金字塔理论可以帮助我们理解数据、信息、知识和人工智能的关系。

在数据金字塔(即 DIKW pyramid)体系中,每一层比下一层赋予某些特质。数据层是最基本的,信息层加入内容,知识层加入“如何去使用”,智慧层加入“什么时候才用”。

  • 信息:是被组织起来的数据,是为了特定目的对数据进行处理和建立内在关联,从而让数据具有意义,它可以回答谁(who)、什么(what)、哪里(where)、什么时候(when)的问题。
  • 知识:对信息的总结和提炼。是基于信息之间的联系,总结出来的规律和方法论,主要用于回答为什么(why)和怎么做(how)的问题,在企业里的应用包括问题诊断、预测和最佳做法。
  • 人工智能:机器对信息和知识的自主应用。人工智能是系统基于数据、信息和知识,形成类似于人脑的思维能力(包括学习、推理、决策等)。在信息和知识层面,数据都是提供决策支持作用,而到了人工智能阶段,则是系统模仿人类应用信息和知识进行自主决策了。

总之,DIKW理论是一个数据分析模型,由下往上依次递进,其递进关系需要借助数据驱动技术实现。

数据驱动型应用

​ 数据驱动型应用是数据驱动的体现形式。从数据到应用,它是一个不断进化的过程。如下图,主要包含这四步:数据获取、数据应用、效果评估、算法挖掘。通过数据采集得到日志数据、关系型数据、事件数据。基于决策模型和算法,形成具体的应用和产品,包括可视化类、推荐类、客服类、风控类、保险类等产品。再通过效果评估和算法挖掘形成的闭环,自动调整模型、改进结果。

image-20181101132248766
image-20181101132248766

数据驱动型应用功能抽象

​ 每个智能应用都可以分解为感知器(眼)、决策器(手)、执行器(脑)。如下图,基础能力层提供这3类基础能力,智能应用层使用这3类基础能力,快速组装成需要的各种智能应用。

image-20181101132442134
image-20181101132442134
  • 感知器是智能应用的眼睛。就像人有两只眼睛一样,智能应用可以基于有向无环图DAG获取多种数据源的数据,甚至可以将多个数据源数据进行聚合,比如同时获取消息数据和数据库数据。这些数据可以通过推和拉两种方式,提供给智能应用。
  • 决策器是智能应用的大脑。决策器是整个智能应用的核心所在,主要提供规则决策、决策树、统计类算法、AI等决策能力。规则决策是基于简单规则的决策,决策树提供有优先级的复杂决策。统计类算法提供概率统计相关的一些算法,包括同比类算法、环比类算法、时间序列算法等。AI主要针对复杂场景,并且有足够的数据量,可以提供机器学习、深度学习能算法能力。
  • 执行器是智能应用的手。执行器主要用来执行任务,将执行过程抽象为工作流。将各种执行能力不断积累下来,从而方便智能应用的快速实现。

小结

本文首先介绍了数据驱动的基本概念和相关理论,然后引出了数据驱动型应用的基本思想和功能抽象。下一篇文章将主要介绍数据驱动的整体架构。

参考

坚持原创技术分享,您的支持将鼓励我继续创作!