认识达内从这里开始

一般来说，企业为了能够更加了解自己的用户需求和提高用户的留存与成交量的情况下，都会进行一定程度的数据分析与测验，主要就是可以从实际出发，了解用户到底喜欢什么样的产品。

今天，我们就介绍一种数据分析方法，希望大家可以通过对这个方法的利用，找到更好的数据分析方法。

用户行为路径算法

较常用的用户行为路径算法有基于关联分析的序列路径挖掘方法和社会网络分析

i.基于关联分析的序列路径挖掘方法

提到关联规则分析，必然免不了数据挖掘中的经典案例“啤酒与尿布”。暂且不论“啤酒与尿布”是不是Teradata的一位经理胡编乱造吹嘘出来的“神话故事”，这个案例在一定程度上让人们理解与懂得了购物篮分析(关联分析)的流程以及背后所带来的业务价值。

将超市的每个客户一次购买的所有商品看成一个购物篮，运用关联规则算法分析这些存储在数据库中的购买行为数据，即购物篮分析，发现10%的顾客同事购买了尿布与啤酒，且在所有购买了尿布的顾客中，70%的人同时购买了啤酒。于是超市决定将啤酒与尿布摆放在一起，结果明显提升了销售额。

我们在此不妨将每个用户每次使用App时操作所有事件点看成“购物篮”中的“一系列商品”，与上面提到的购物篮不同的是，这里的所有事件点击行为都是存在严格的前后事件顺序的。

我们可以通过改进关联规则中的Apriori或FP-Growth算法，使其可以挖掘存在严格先后顺序的频繁用户行为路径，不失为一种重要的用户路径分析思路。我们可以仔细考量发掘出来的规则序列路径所体现的产品业务逻辑，也可以比较分析不同用户群体之间的规则序列路径。

ii.社会网络分析(或链接分析)

早期的搜索引擎主要基于检索网页内容与用户查询的相似性或者通过查找搜索引擎中被索引过的页面为用户查找相关的网页，随着90年代中后期互联网网页数量 的爆炸式增长，早期的策略不再有效，无法对大量的相似网页给出合理的排序搜索结果。

现今的搜索引擎巨头如Google、百度都采用了基于链接分析的搜索引擎算法来作为这个问题的解决方法之一。网页与网页之间通过超链接结合在一起，如同微博上的社交网络通过关注行为连接起来，社交网络中有影响力很大的知名大V们，互联网上也存在着重要性性很高的网页。将较高的网页提供到搜索引擎结果的前面，使得搜索的效果更佳。

我们将社交网络中的人看作一个个节点，将互联网中的网页看作一个个节点，甚至可以将我们的App产品中的每一个模块事件看作一个个节点，节点与节点之间通过各自的方式连接组成了一个特定的网络图，以下将基于这些网络结构的分析方法统称为社会网络分析。

社会网络分析中存在一些较为常见的分析方法可以运用到我们的路径分析中来，如节点的中心性分析，节点的影响力建模，社区发现等。通过中心性分析，我们可以去探索哪些模块事件处于中心地位，或者作为枢纽连接了两大类模块事件，或者成为大多数模块事件的终到达目的地。通过社区发现，我们可以去探索这个社会网络中是否存在一些“小圈子”，即用户总是喜欢去操作的一小部分行为路径，而该部分路径又与其他大部分模块相对独立。

5. 用户行为路径产品化实践

我们大体目标要完成基于人数和次数的用户行为路径，可以支持从任意事件起下查后续行为或者上查来源行为，并且要支持任意30天时间行为路径的查看。重要的一点是强调用户体验需要较实时处理获得结果。根据上述这些需求，我们给出基于Spark的用户行为路径实践。

6. 基于Spark的用户行为路径

Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析

伯克利将Spark的整个生态系统称为伯克利数据分析栈(BDAS)。其核心框架是Spark，同时BDAS涵盖支持结构化数据SQL查询与分析的查询引擎Spark SQL，提供机器学习功能的系统MLbase及底层的分布式机器学习库MLlib、并行图计算框架GraphX，流计算框架Spark Streaming。这些子项目在Spark上层提供了更高层、更丰富的计算范式。

下面简单介绍一下Spark的 Yarn-Cluster任务提交流程：

Spark Yarn Client向YARN中提交应用程序，包括ApplicationMaster程序、启动ApplicationMaster的命令、需要在Executor中运行的程序等;

ResourceManager收到请求后，在集群中选择一个NodeManager，为该应用程序分配一个Container，要求它在这个Container中启动应用程序的ApplicationMaster，其中ApplicationMaster进行SparkContext等的初始化;

ApplicationMaster向ResourceManager注册，这样用户可以直接通过ResourceManage查看应用程序的运行状态，然后它将采用轮询的方式通过RPC协议为各个任务申请资源，并监控它们的运行状态直到运行结束;

一旦ApplicationMaster申请到资源(也就是Container)后，便与对应的NodeManager，要求它在获得的Container中启动启动CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend启动后会向ApplicationMaster中的SparkContext注册并申请Task。这一点和Standalone模式一样，只不过SparkContext在Spark Application中初始化时，使用CoarseGrainedSchedulerBackend配合YarnClusterScheduler进行任务的调度，其中YarnClusterScheduler只是对TaskSchedulerImpl的一个简单包装，增加了对Executor的等待逻辑等;

ApplicationMaster中的SparkContext分配Task给CoarseGrainedExecutorBackend执行，CoarseGrainedExecutorBackend运行Task并向ApplicationMaster汇报运行的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务;

应用程序运行完成后，ApplicationMaster向ResourceManager申请注销并关闭自己。

下面给出我们整体行为路径的数据流向以及请求过程

数据收集：

互联网行业对数据的获取有着得天独厚的优势，路径分析所依赖的数据主要就是服务器中的日志数据。用户在使用App过程中的每一步都可以被记录下来，这时候需要关注的便是优秀的布点策略，它应当与我们所关心的业务息息相关。事实上，在每个App里，不是所有事件都有着同样的价值，基于对核心事件的深度分析需求，推荐大家使用层级化的自定义事件布点方式，每一个事件由三个层次组成的：事件(Event)、属性(Key)和属性值(Value)。

数据清洗：

在ETL阶段我们会把收集到的Android/IOS/JS SDK数据进行统一的处理，从上述的JSON格式里面取出预定义好的字段(我们需要的一些信息)写入本地文件中。

数据获取：

将写好的本地文件通过定时加载程序加载到Inforbright里面，得到一系列的基础表。然后从这些基础表里通过跑批程序跑出方便查询和使用的一些汇总表。

为了减少Spark实时内存计算压力我们将用户行为路径核心算法过程分为离线部分和线上请求部分。如下：

中间结果计算：

回溯之前第五节说到产品需求，要完成这些需要(人数，次数，后续行为，来源行为，30天时间内任意查询)，我们需要从数据库里获取事件ID，会话ID，事件触发时间，设备ID，用户ID这些信息。如图所示：

下面重点来了，首先我们会将上述信息做一些处理。

原则就是将一个会话ID下面的同一个用户ID的所有事件按照事件发生的顺序进行排序。这块为了进一步减少之后Spark内存使用我们会将所有超长ID进行一次map。 例如下图中后一列的1表示的就是map过后的会话ID。第三列表示的是用户ID第五列和第六列表示的是这个会话ID内事件对发生的顺序。一列和第二列表示的是具体的事件对。

具体解读一下图中的信息:

用户ID为16351的用户在其map过后ID为1的会话中的事件

正序顺序 8532810 -> 7232351 -> 7232351 -> 8532810 -> 8532810 -> 7232351 -> 8532810 -> 8532810 -> 565 -> 8532810 -> 6907797 -> 565

逆序顺序 565 -> 6907797 -> 8532810 -> 565 -> 8532810 -> 8532810 -> 7232351 -> 8532810 -> 8532810 -> 7232351 -> 7232351 -> 8532810

你会发现按照上述的过程，我们将获取到的原始数据进行离线转化后，新的数据就会天然的支持我们的产品需求：人数，次数，后续行为，来源行为。对于30天内任意时间查询，我们也做了特殊的处理。我们会将每天的数据存放在一个文件里面，这样就会有30个用天数命名的文件，这样每天的离线计算只需要进行增量的部分。这种做法会大大节省我们离线部分计算的开销。

数据计算：

由于在离线部分准备的充分，故在Spark实时计算阶段我们只需要将数据Load到内存后通过一系列的Spark RDD算子查出我们需要的结果即可。当然按照离线计算后数据格式的特点结合我们的具体产品需求，在Spark处理过程中也是有不少小技巧可循，例如查询某个条件的用户行为路径可以只使用filter算子就可以得到结果，今天就不多赘述了。

数据请求：

前端的请求会通过Redis的订阅和发布机制告诉Spark提交相应的任务到集群。

达内时代科技集团致力于培养面向电信和金融领域的Java、C++、C#/.Net、3G/Android、3G/IOS、PHP、嵌入式、软件测试、UID、网络营销、网络工程、会计、UED、web、Unity3D、大数据、童程童美等17大方向中高端软件人才课程与少儿教育课程。选择运城it培训，不再孤军奋战，轻轻松松做IT高薪白领。运城达内培训带领有明确目标的学子迈向成功之路!想找工作的求职者可以加QQ：3373924515（太原达内就业服务部）咨询了解。