摘要: 参考资料 http://blog.51cto.com/xushaojie/1766275 阅读全文
posted @ 2018-07-21 21:19 雪山过客 阅读(98) 评论(0) 推荐(0) 编辑
摘要: Supervisor安装与配置(linux/unix进程管理工具) Supervisor(http://supervisord.org/)是用Python开发的一个client/server服务,是Linux/Unix系统下的一个进程管理工具,不支持Windows系统。它可以很方便的监听、启动、停止 阅读全文
posted @ 2018-07-18 18:03 雪山过客 阅读(12836) 评论(0) 推荐(2) 编辑
摘要: 参考资料: https://blog.csdn.net/qingqing7/article/details/79103297 阅读全文
posted @ 2018-07-14 22:23 雪山过客 阅读(182) 评论(0) 推荐(0) 编辑
摘要: spark shell之spark.sql [TOC] 数据结构 订单表: badou.orders 字段(string) order_id 订单id user_id 用户id eval_set 值:prior(历史行为),train(训练,test中user已经购买的商品),test(预测的数据集 阅读全文
posted @ 2018-07-13 18:51 雪山过客 阅读(508) 评论(0) 推荐(0) 编辑
摘要: 欢迎使用马克飞象 @(MarkDown编写方法)[马克飞象, 帮助, Markdown] 马克飞象 是一款专为印象笔记(Evernote)打造的Markdown编辑器,通过精心的设计与技术实现,配合印象笔记强大的存储和同步功能,带来前所未有的书写体验。特点概述: 功能丰富 :支持高亮代码块、 LaT 阅读全文
posted @ 2018-07-13 11:54 雪山过客 阅读(430) 评论(0) 推荐(0) 编辑
摘要: 参考资料: https://blog.csdn.net/simonchi/article/details/53944308 阅读全文
posted @ 2018-07-13 10:07 雪山过客 阅读(731) 评论(0) 推荐(0) 编辑
摘要: UDF全称: user defined function 用户定义函数 存在的意义: 比如你需要使用hive的函数来处理一些记录,像count(), sum()这都是内置的,写好的,如果我想自定义一些函数,就可以写UDF来完成,相当于在Hive的sql中自定义了一些函数 UDF必须使用java编写, 阅读全文
posted @ 2018-07-12 10:59 雪山过客 阅读(496) 评论(0) 推荐(0) 编辑
摘要: 取每个用户最喜欢购买的前三个product 结果输出 把每个用户的前三条记录输出为一行, 列转行 结果如下 参考: https://blog.csdn.net/doveyoung8/article/details/80022579 阅读全文
posted @ 2018-07-10 17:39 雪山过客 阅读(9807) 评论(0) 推荐(0) 编辑
摘要: 转载: http://blog.sina.com.cn/s/blog_9f48885501017dua.html 阅读全文
posted @ 2018-07-10 11:05 雪山过客 阅读(907) 评论(0) 推荐(0) 编辑
摘要: 列转行 测试数据 把相同user_id的order_id按照逗号转为一行 总结 使用函数:concat_ws(',',collect_set(column)) 说明:collect_list 不去重,collect_set 去重。 column的数据类型要求是string 行转列 测试数据 将ord 阅读全文
posted @ 2018-07-06 17:31 雪山过客 阅读(107707) 评论(2) 推荐(3) 编辑