用户活跃度分析
package cn.ibeifeng.spark import org.apache.spark.sql.SparkSession /** * 用户活跃度分析 * * 我们这次项目课程的升级，也跟spark从入门到精通的升级采取同步，采用scala+eclipse的方式来开发 * * 我个人而言，还是觉得应该用java去开发spark作业，因为hadoop是最重要的大数据引擎，hadoop mapreduce、hbase，全都是java * 整个公司的编程语言技术栈越简单越好，降低人员的招聘和培养的成本 * * 但是由于市面上，现在大部分的公司，做spark都是采取一种，spark用scala开发，所以开发spark作业也用scala * 课程为了跟市场保持同步，后面就随便采取scala来开发了 * */ object UserActiveDegreeAnalyze { case class UserActionLog(logId: Long, userId: Long, actionTime: String, actionType: Long, purchaseMoney: Double) case class UserActionLogVO(logId: Long, userId: Long, actionValue: Long) case class UserActionLogWithPurchaseMoneyVO(logId: Long, userId: Long, purchaseMoney: Double) def main(args: Array[String]) { // 如果是按照课程之前的模块，或者整套交互式分析系统的架构，应该先从mysql中提取用户指定的参数（java web系统提供界面供用户选择，然后java web系统将参数写入mysql中） // 但是这里已经讲了，之前的环境已经没有了，所以本次升级从简 // 我们就直接定义一个日期范围，来模拟获取了参数 val startDate = "2016-09-01"; val endDate = "2016-11-01"; // 开始写代码 // spark 2.0具体开发的细节和讲解，全部在从入门到精通中，这里不多说了，直接写代码 // 要不然如果没有看过从入门到精通的话，就自己去上网查spark 2.0的入门资料 val spark = SparkSession .builder() .appName("UserActiveDegreeAnalyze") .master("local") .config("spark.sql.warehouse.dir", "D:\\test\\spark\\mall\\spark-warehouse") .getOrCreate() // 导入spark的隐式转换 import spark.implicits._ // 导入spark sql的functions import org.apache.spark.sql.functions._ // 获取两份数据集 val userBaseInfo = spark.read.json("D:\\test\\spark\\mall\\user_base_info.json") val userActionLog = spark.read.json("D:\\test\\spark\\mall\\user_action_log.json") // 第一个功能：统计指定时间范围内的访问次数最多的10个用户 // 说明：课程，所以数据不会搞的太多，但是一般来说，pm产品经理，都会抽取100个~1000个用户，供他们仔细分析 //{"logId": 00,"userId": 0, "actionTime": "2016-10-04 15:42:45", "actionType": 0, "purchaseMoney": 0.0} //{"userId": 0, "username": "user0", "registTime": "2016-10-11 18:06:25"} // userActionLog // // 第一步：过滤数据，找到指定时间范围内的数据 // .filter("actionTime >= '" + startDate + "' and actionTime <= '" + endDate + "' and actionType = 0") // // 第二步：关联对应的用户基本信息数据 // .join(userBaseInfo, userActionLog("userId") === userBaseInfo("userId")) // // 第三部：进行分组，按照userid和username // .groupBy(userBaseInfo("userId"), userBaseInfo("username")) // // 第四步：进行聚合 // .agg(count(userActionLog("logId")).alias("actionCount")) // // 第五步：进行排序 // .sort($"actionCount".desc) // // 第六步：抽取指定的条数 // .limit(10) // // 第七步：展示结果，因为监简化了，所以说不会再写入mysql // .show() // 第一个功能：统计指定时间范围内的访问次数最多的10个用户 /* userActionLog.filter("actionTime >= '"+startDate+"' and actionTime <= '"+endDate+"' and actionType = 0") .join(userBaseInfo,userActionLog("userId")===userBaseInfo("userId")) .groupBy(userBaseInfo("userId"),userBaseInfo("username")) .agg(count(userActionLog("logId")).alias("actionCount")) .sort($"actionCount".desc) .limit(10) .show()*/ // 第二个功能：获取指定时间范围内购买金额最多的10个用户 // 对金额进行处理的函数讲解 // feature，技术点的讲解：嵌套函数的使用 // userActionLog // .filter("actionTime >= '" + startDate + "' and actionTime <= '" + endDate + "' and actionType = 1") // .join(userBaseInfo, userActionLog("userId") === userBaseInfo("userId")) // .groupBy(userBaseInfo("userId"), userBaseInfo("username")) // .agg(round(sum(userActionLog("purchaseMoney")),2).alias("totalPurchaseMoney")) // .sort($"totalPurchaseMoney".desc) // .limit(10) // .show() // 第二个功能：获取指定时间范围内购买金额最多的10个用户 //{"logId": 00,"userId": 0, "actionTime": "2016-10-04 15:42:45", "actionType": 0, "purchaseMoney": 0.0} //{"userId": 0, "username": "user0", "registTime": "2016-10-11 18:06:25"} /* userActionLog.filter(s"actionTime >= '$startDate' and actionTime <= '$endDate' and actionType=1") .join(userBaseInfo,userActionLog("userId")===userBaseInfo("userId")) .groupBy(userBaseInfo("userId"),userBaseInfo("username")) .agg(round(sum(userActionLog("purchaseMoney")),2).alias("sumPurchase")) .sort($"sumPurchase".desc) .limit(10) .show()*/ // 第三个功能：统计最近一个周期相对上一个周期访问次数增长最多的10个用户 // 比如说我们设定一个周期是1个月 // 我们有1个用户，叫张三，那么张三在9月份这个周期内总共访问了100次，张三在10月份这个周期内总共访问了200次 // 张三这个用户在最近一个周期相比上一个周期，访问次数增长了100次 // 每个用户都可以计算出这么一个值 // 获取在最近两个周期内，访问次数增长最多的10个用户 // 周期，是可以由用户在web界面上填写的，java web系统会写入mysql，我们可以去获取本次执行的周期 // 假定1个月，2016-10-01~2016-10-31，上一个周期就是2016-09-01~2016-09-30 // val userActionLogInFirstPeriod = userActionLog.as[UserActionLog] // .filter("actionTime >= '2016-10-01' and actionTime <= '2016-10-31' and actionType = 0") // .map{ userActionLogEntry => UserActionLogVO(userActionLogEntry.logId, userActionLogEntry.userId, 1) } // // val userActionLogInSecondPeriod = userActionLog.as[UserActionLog] // .filter("actionTime >= '2016-01-01' and actionTime <= '2016-09-30' and actionType = 0") // .map{ userActionLogEntry => UserActionLogVO(userActionLogEntry.logId, userActionLogEntry.userId, -1) } // // val userActionLogDS = userActionLogInFirstPeriod.union(userActionLogInSecondPeriod) // // userActionLogDS // .join(userBaseInfo, userActionLogDS("userId") === userBaseInfo("userId")) // .groupBy(userBaseInfo("userId"), userBaseInfo("username")) // .agg(sum(userActionLogDS("actionValue")).alias("actionIncr")) // .sort($"actionIncr".desc) // .limit(10) // .show() // // // //{"logId": 00,"userId": 0, "actionTime": "2016-10-04 15:42:45", "actionType": 0, "purchaseMoney": 0.0} // //{"userId": 0, "username": "user0", "registTime": "2016-10-11 18:06:25"} // // 第三个功能：统计最近一个周期相对上一个周期访问次数增长最多的10个用户 // // 比如说我们设定一个周期是1个月 // // 我们有1个用户，叫张三，那么张三在9月份这个周期内总共访问了100次，张三在10月份这个周期内总共访问了200次 // // 张三这个用户在最近一个周期相比上一个周期，访问次数增长了100次 // // 每个用户都可以计算出这么一个值 // // 获取在最近两个周期内，访问次数增长最多的10个用户 // val startDate1="2016-01-01" // val startDate2="2016-10-01" // val endDate1="2016-09-30" // val endDate2="2016-10-31" // //一个时间段内用户的访问时间 // val first = userActionLog.as[UserActionLog] // .filter(s"actionTime >= '$startDate1' and actionTime <= '$endDate1' and actionType=0") // .map{ userActionLogEntry => UserActionLogVO(userActionLogEntry.logId, userActionLogEntry.userId, -1) } // // //.join(userBaseInfo,userActionLog("userId")===userBaseInfo("userId")) // //// .groupBy(userBaseInfo("userId"),userBaseInfo("username")) //// .agg(count(userActionLog("logId"))) // // val second = userActionLog.as[UserActionLog] // .filter(s"actionTime >= '$startDate2' and actionTime <= '$endDate2' and actionType=0") // .map{ userActionLogEntry => UserActionLogVO(userActionLogEntry.logId, userActionLogEntry.userId, 1) } // // // val userActionLogDS2 = second // .union(first); // // //.as[userActionLogDS] // userActionLogDS2.join(userBaseInfo,userBaseInfo("userId")===userActionLogDS2("userId")) // .groupBy(userBaseInfo("userId"),userBaseInfo("username")) // .agg(sum(userActionLogDS2("actionValue")).alias("sumActionValue")) // .sort($"sumActionValue".desc) // .limit(10) // .show() // // first.union(second). // // 真实的项目中，大量的情况就是这样的，很多作业和代码都是类似的，就是有些地方不太一样而已 // // 向大家展示真实的项目逻辑，业务 // // 让大家加强印象，多练习几遍，没什么坏处 // // val userActionLogWithPurchaseMoneyInFirstPeriod = userActionLog.as[UserActionLog] // .filter("actionTime >= '2016-10-01' and actionTime <= '2016-10-31' and actionType = 1") // .map{ userActionLogEntry => // UserActionLogWithPurchaseMoneyVO(userActionLogEntry.logId, userActionLogEntry.userId, // userActionLogEntry.purchaseMoney) } // // val userActionLogWithPurchaseMoneyInSecondPeriod = userActionLog.as[UserActionLog] // .filter("actionTime >= '2016-09-01' and actionTime <= '2016-09-30' and actionType = 1") // .map{ userActionLogEntry => // UserActionLogWithPurchaseMoneyVO(userActionLogEntry.logId, userActionLogEntry.userId, // -userActionLogEntry.purchaseMoney) } // // val userActionLogWithPurchaseMoneyDS = userActionLogWithPurchaseMoneyInFirstPeriod.union(userActionLogWithPurchaseMoneyInSecondPeriod) // // userActionLogWithPurchaseMoneyDS // .join(userBaseInfo, userActionLogWithPurchaseMoneyDS("userId") === userBaseInfo("userId")) // .groupBy(userBaseInfo("userId"), userBaseInfo("username")) // .agg(round(sum(userActionLogWithPurchaseMoneyDS("purchaseMoney")), 2).alias("purchaseMoneyIncr")) // .sort($"purchaseMoneyIncr".desc) // .limit(10) // .show() // // 统计指定注册时间范围内头7天访问次数最高的10个用户 // 举例，用户通过web界面指定的注册范围是2016-10-01~2016-10-31 userActionLog .join(userBaseInfo, userActionLog("userId") === userBaseInfo("userId")) .filter(userBaseInfo("registTime") >= "2016-10-01" && userBaseInfo("registTime") <= "2016-10-31" && userActionLog("actionTime") >= userBaseInfo("registTime") && userActionLog("actionTime") <= date_add(userBaseInfo("registTime"), 7) && userActionLog("actionType") === 0) .groupBy(userBaseInfo("userId"), userBaseInfo("username")) .agg(count(userActionLog("logId")).alias("actionCount")) .sort($"actionCount".desc) .limit(10) .show() userActionLog .join(userBaseInfo, userActionLog("userId") === userBaseInfo("userId")) .filter(userBaseInfo("registTime") >= "2016-10-01" && userBaseInfo("registTime") <= "2016-10-31" && userActionLog("actionTime") >= userBaseInfo("registTime") && userActionLog("actionTime") <= date_add(userBaseInfo("registTime"), 7) && userActionLog("actionType") === 1) .groupBy(userBaseInfo("userId"), userBaseInfo("username")) .agg(round(sum(userActionLog("purchaseMoney")),2).alias("purchaseMoneyTotal")) .sort($"purchaseMoneyTotal".desc) .limit(10) .show() // 统计指定注册时间范围内头7天访问次数最高的10个用户 // 举例，用户通过web界面指定的注册范围是2016-10-01~2016-10-31 //{"logId": 00,"userId": 0, "actionTime": "2016-10-04 15:42:45", "actionType": 0, "purchaseMoney": 0.0} //{"userId": 0, "username": "user0", "registTime": "2016-10-11 18:06:25"} val startDateReg = "2016-10-01" val endDateReg = "2016-10-31" userBaseInfo.filter(s"registTime >= '$startDateReg' and registTime <= '$endDateReg'") .join(userActionLog,userActionLog("userId")===userBaseInfo("userId")) .filter(userActionLog("actionTime") >= userBaseInfo("registTime") && userActionLog("actionTime") <= date_add(userBaseInfo("registTime"),7) && userActionLog("actionType") === 1) .groupBy(userBaseInfo("userId"),userBaseInfo("username")) .agg(count(userActionLog("logId")).alias("countLogId")) .sort($"countLogId".desc) .limit(10) .show() } }
数据链接：http://pan.baidu.com/s/1cKvqZc 密码：4mcy
学好计算机，走遍天下都不怕
