总目录：26套Spark企业级项目实战，源码深度剖析，实时流处理，机器学习，数据分析，推荐系统，图计算，缓存优化，监控分析SparkCore，SparkSQL，SparkStreaming，Kafka，Flume，Scale，Python视频课程
第一套：【系统学习】快速掌握Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7)视频教程
第二套：【系统学习】Spark全面精讲系统培训课程（基于Spark2版本+含Spark调优+超多案例）视频教程
第三套：【系统学习】Spark高薪就业课（SparkCore，SparkSQL，SparkStreaming，运维与监控）视频教程
第四套：【项目实战】Spark从入门到上手实战（Scacle编程+SparkCore实战+SparkSQL+SparkStreaming）视频教程
第五套：【系统学习】学习Scala进击大数据Spark生态圈，进击Spark生态圈必备，迈向“高薪”的基石视频教程
第六套：【综合学习】Spark2全面深度剖析--知识点，源码，调优，JVM，图计算，项目实战视频教程
第七套：【系统学习】Spark核心解密源码剖析，调度流程源码剖析，算子优化，缓存优化视频教程
第八套：【项目实战】大数据全栈高手速成--Spark2.0精讲（全场景项目实战）视频教程
第九套：【项目实战】大数据Spark实战项目大数据实战之精准广告推送实战，完全实战化学习大数据开发视频教程
第十套：【项目实战】Spark企业级实战项目：知名手机厂商用户行为实时分析系统视频教程
第十一套：【项目实战】Spark企业级实战项目：道路交通实时流量监控预测系统视频教程
第十二套：【项目实战】Spark企业级实战项目：离线和实时电影推荐系统直播回放(视频+文档+代码）视频教程
第十三套：【项目实战】以慕课网日志分析为例进入大数据SparkSQL的世界视频教程
第十四套：【项目实战】基于Spark2.x新闻网大数据实时分析可视化系统项目实战视频教程
第十五套：【项目实战】Spark企业级大数据项目实战，项目集成Hadoop，Spark，HBase，Kafka，Oracle，ElasticSearch大数据技术视频教程
第十六套：【项目实战】爱奇艺实时流处理项目实战 （Spark Streaming）企业级真实案例项目实战视频教程
第十七套：【项目实战】实时流处理SparkStreaming项目实战（Flume+KafkaSpark Streaming打造通用流处理平台）视频教程
第十八套：【系统学习】大数据Spark “蘑菇云”行动，spark2.x，spark Streaming 视频教程
第十九套：【项目实战】PySpark基于Python的Spark企业级大数据分析，以实际数据分析为驱动讲解，项目实战视频课程
第二十套：【系统学习】PySpark大数据处理及机器学习Spark2.3深入学习高级视频课程
第二十一套：【项目实战】深入学习大数据分析Spark2.X+Python 精华实战，实战Spark与分散式机器学习课程
第二十二套：【项目实战】全面掌握Spark2.0 ML机器学习，ML的应用开发和定制开发视频教程
第二十三套：【项目实战】大数据之基于Spark的机器学习-智能客户系统项目实战视频教程
第二十四套：【项目实战】深入Spark与kafka整合之实时流计算机器学习实战视频教程
第二十五套：【项目实战】Spark机器学习班，运行原理，性能调优，图计算，存储调度与监控分析视频教程
第二十六套：【项目实战】深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析项目实战视频教程
用户行为介绍
基于用户行为的推荐，在学术界名为协同过滤算法。
协同过滤就是指用户可以齐心协力，通过不断地和网站互动，使 自己的推荐列表能够不断过滤掉自己不感兴趣的物品，从而越来越满足自己的需求。
用户行为在个性化推荐系统中一般分两种——显性反馈行为（explicit feedback）和隐性反馈 行为（implicit feedback）。
-
显性反馈行为包括用户明确表示对物品喜好的行为：主要方式就是评分和喜欢/不喜欢；
-
隐性反馈行为指的是那些不能明确反应用户喜好的行为：最具代表性的隐性反馈行为就是页面浏览行为；
反馈除了分为显性和隐性外，还能分为正反馈、负反馈，举例子如下： 
互联网中的用户行为有很多种，比如浏览网页、购买商品、评论、评分等。要用一个统一的 方式表示所有这些行为是比较困难的，下面是一个表示的可能： 
用户行为分析
先定义两个变量：
-
用户活跃度：用户产生过行为的物品总数
-
物品流行度：对物品产生过行为的用户总数
而用户活跃度和物品流行度的人数都符合Power Law，也称为长尾分布：
。
用户活跃度和物品流行度的关系是：用户越活跃，越倾向于浏览冷门的物品。
仅仅基于用户行为数据设计的推荐算法一般称为协同过滤算法。 学术界对协同过滤算法 进行了深入研究，提出了很多方法，比如基于邻域的方法（ neighborhood-based ）、隐语义模型 （ latent factor model）、基于图的随机游走算法（random walk on graph）等。
基于邻域的算法
基于领域的方法中，主要包括两大类：
-
基于用户的协同过滤算法，这种算法给用户推荐和他兴趣相似的其他用户喜欢的物品。
-
基于物品的协同过滤算法，这种算法给用户推荐和他之前喜欢的物品相似的物品。
基于用户的协同过滤算法
基于用户的协同过滤算法主要包括两个步骤：
(1) 找到和目标用户兴趣相似的用户集合。
(2) 找到这个集合中的用户喜欢的，且目标用户没有听说过的物品推荐给目标用户。
在第一步上计算相似度上，具体算法大概有几种：欧几里得距离，皮尔逊相关系数，Cosine 相似度，Tanimoto 系数。不同相似度衡量方法对于结果会有不同的影响。
基于物品的协同过滤算法
基于item的协同过滤，通过用户对不同item的评分来评测 item 之间的相似性，基于item 之间的相似性做出推荐，简单来讲就是：给用户推荐和他之前喜欢的物品相似的物品。
UserCF和ItemCF的综合比较
对于电子商务，用户数量一般大大超过商品数量，此时Item CF的计算复杂度较低。
在非社交网络的网站中，内容内在的联系是很重要的推荐原则，它比基于相似用户的推荐原则更加有效。比如在购书网站上，当你看一本书的时候，推荐引擎 会给你推荐相关的书籍，这个推荐的重要性进进超过了网站首页对该用户的综合推荐。可以看到，在这种情况下，Item CF 的推荐成为了引导用户浏觅的重要手段。基于物品的协同 过滤算法，是目前电子商务采用最广泛的推荐算法。
在社交网络站点中，User CF 是一个更丌错的选择，User CF 加上社会网络信息，可 以增加用户对推荐解释的信服程度。
隐语义模型（LFM）
隐语义模型最早在文本挖掘领域被提出，用于找到文本的隐含语义。相关的 名词有LSI、pLSA、LDA和Topic Model。
LFM源于对SVD（奇异值分解）方法的改进，传统SVD是线性代数典型问题，但由于计算量太大，实际上只是适用于规模很小的系统，Simon Funk改迚SVD（Funk-SVD），后来被称为Latent Factor Model。
LFM假设了一个隐含的变量，用户兴趣，看下面的矩阵分解： 
R 矩阵是 user-item 矩阵，矩阵值 Rij 表示的是 user i 对 item j 的兴趣度，对于其中缺失的值，我们可以先给一个平均值。 LFM 算法从数据集中抽取出若隐变量，作为 user 和 item 之间连接的桥梁，将 R 矩阵表示为 P 矩阵和 Q 矩阵相乘。其中 P 矩阵是 user-topic 矩阵，矩阵值 Pij 表示的是 user i 对 topic j 的兴趣度；Q 矩阵式 topic-item 矩阵，矩阵值 Qij 表示的是 item j 在 topic i 中的权重。
上面这个过程就是一个svd的过程，但是当矩阵太大的时候，svd分解会太慢，于是就有了下面的方法： 
将矩阵分解转换为一个机器学习问题，我们通过梯度下降的方法去预估Rij，先求导： 
后更新： 
上面的算法的超参数有：
-
隐特征的个数F；
-
学习速率alpha；
-
正则化参数lambda；
还有一个没讲到的是，对于Rij，我们现在只有正样本，即user-item中有的我们算Rij=1，我们要去获取负样本，Rij=0的值，负样在选择上秉持的原则是：
-
对每个用户，要保证正负样本的平衡（数目相似）。
-
对每个用户采样负样本时，要选取那些很热门，而用户却没有行为的物品。
此处选择采用热门商品的原因是：对于冷门的物 品，用户可能是压根没在网站中发现这个物品，所以谈不上是否感兴趣。
总结
本文首先介绍了用户行为的基本概念，介绍了显性反馈行为和隐性反馈行为，以及正反馈和负反馈，接着介绍了两大类推荐算法：基于领域的算法和隐语义模型，下面一篇会通过Surprise库来用今天介绍的算法来解决一些实际问题。深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析视频教程网盘下载深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析视频教程网盘下载深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析视频教程网盘下载深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析视频教程网盘下载深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析视频教程网盘下载深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析视频教程网盘下载深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析视频教程网盘下载深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析视频教程网盘下载深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析视频教程网盘下载深入浅出Spark2.X用户行为分析机器学习，RDD数据集，SparkSQL数据存储，实时流分析视频教程网盘下载