2020年6月3日
电商数仓中需要统计的指标
摘要： 1、商品类指标：产品总数，SKU数（有多少件），SPU数（有多少款式），上架商品的SKU数，上架商品的SPU数，上架商品数。 2、流量类指标：PV、UV、跳出率、平均页面的访问时长、人均页面访问数。 3、购物车：加入购物车次数、加入购物车买家次数、加入购物车商品次数、购物车支付转化率。 4、下单类： 阅读全文
posted @ 2020-06-03 17:24 梁衍 阅读(1317) 评论(0) 推荐(0) 编辑
实时推荐模型的算法设计
摘要： 当用户u 对商品p 进行了评分，将触发一次对u的推荐结果的更新。对于用户u 来说，他与p 最相似的商品们之间的推荐强度将发生变化，所以选取与商品p 最相似的K 个商品作为候选商品。每个候选商品按照“推荐优先级”这一权重作为衡量这个商品被推荐给用户u 的优先级。 这些商品将根据用户u 最近的若干评分计 阅读全文
posted @ 2020-06-03 14:53 梁衍 阅读(742) 评论(0) 推荐(0) 编辑
2020年5月18日
数据库需要掌握到什么程度可以应付工作？
摘要： 1、完成(日常)业务功能的 会画er图 -- 使用工具processon 会用power designer做数据库设计 会mysq|和oracle基本操作 会导入和导出 会基本增删改查 会建索引 会连接查询 会用统计 会排序 会分类查询 会时间问题 会各类集合操作 会各类统计分析函数 等等 +SQL 阅读全文
posted @ 2020-05-18 22:28 梁衍 阅读(1143) 评论(0) 推荐(0) 编辑
Mysql的万能优化方法
摘要： 在命令行运行 1.查看优化器状态 show variable like 'optimizer_trace'; 2.会话级别临时开启 set session optimizer_trace="enabled=on",end_markers_in_json=on; 3.设置优化器追踪的内存大小 set 阅读全文
posted @ 2020-05-18 21:05 梁衍 阅读(183) 评论(0) 推荐(0) 编辑
2019年12月10日
RDD的转换操作，分三种：单value，双value交互，（k,v）对
摘要： import org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext} object Transformation { def main(args: Array[String]): U 阅读全文
posted @ 2019-12-10 21:34 梁衍 阅读(1135) 评论(0) 推荐(0) 编辑
Scala中sortBy和Spark中sortBy区别
摘要： Scala中sortBy是以方法的形式存在的,并且是作用在Array或List集合排序上,并且这个sortBy默认只能升序,除非实现隐式转换或调用reverse方法才能实现降序,Spark中sortBy是算子,作用出发RDD中数据进行排序,默认是升序可以通过该算子的第二参数来实现降序排序的方式 阅读全文
posted @ 2019-12-10 20:07 梁衍 阅读(1681) 评论(0) 推荐(0) 编辑
scala中分组的算子的用法
摘要： val rdd= sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("tom",2))) //1.根据传入的参数进行分组 val rdd1:RDD[(String, Iterable[(String, Int)])] =rdd.groupB 阅读全文
posted @ 2019-12-10 19:37 梁衍 阅读(1060) 评论(0) 推荐(0) 编辑
scala中停止循环的三种方式
摘要： 1：使用return关键字 object BreakLoop { //1.使用return关键字 def add():Unit= { for(i <- 1 to 10){ if(i==7){ //停止循环 //使用注意: 终止方法并带回一个返回值 // 使用return --> 停止的是方法,所以不 阅读全文
posted @ 2019-12-10 00:54 梁衍 阅读(1951) 评论(0) 推荐(0) 编辑
scala中的Option
摘要： Scala中Option是用来表示一个可选类型 什么是可选? --> 主要是指 有值(Some) 和 无值(None)-->Some和None是Option的子类 val myMap:Map[String,String] = Map("key1"->"value1") //获取集合value的值 v 阅读全文
posted @ 2019-12-10 00:47 梁衍 阅读(1552) 评论(0) 推荐(0) 编辑
scala中nothing和null的区别
摘要： 1：nothing是所有类型的子类，他没有具体的实例对象，常见的应用：抛出异常、程序exit、无线循环等。 2：nothing是所有类型的子类，也是null的子类，nothing没有对象，但是可以用来定义类型，如方法抛出异常的返回值类型就是nothing。 3：null是所有引用类型的子类，他只是一 阅读全文
posted @ 2019-12-10 00:42 梁衍 阅读(996) 评论(0) 推荐(0) 编辑
下一页