那山的狐狸 - 博客园

新增访客数量MR统计之数据库准备

摘要：关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）云盘目录说明：tools目录是安装包res 目录是每一个课件对应的代码和资源等doc 目录是一些第三方的文档工具承接上一篇文档《新增访客数量MR统计之Reduce和Runner相关准备》创建StatsUserN 阅读全文

posted @ 2020-05-11 23:22 那山的狐狸阅读(189) 评论(0) 推荐(0) 编辑

新增访客数量MR统计之Reduce和Runner相关准备

摘要：关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）云盘目录说明：tools目录是安装包res 目录是每一个课件对应的代码和资源等doc 目录是一些第三方的文档工具承接上一篇文档《新增访客数量MR统计之NewInstallUserMapper相关准备》创建New 阅读全文

posted @ 2020-05-11 23:06 那山的狐狸阅读(185) 评论(0) 推荐(0) 编辑

新增访客数量MR统计之NewInstallUserMapper相关准备

摘要：关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）云盘目录说明：tools目录是安装包res 目录是每一个课件对应的代码和资源等doc 目录是一些第三方的文档工具承接上一篇文档《新增访客数量MR统计之NewInstallUserMapper中维度信息准备》编写阅读全文

posted @ 2020-05-11 22:52 那山的狐狸阅读(134) 评论(0) 推荐(0) 编辑

新增访客数量MR统计之NewInstallUserMapper中维度信息准备

摘要：关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）云盘目录说明：tools目录是安装包res 目录是每一个课件对应的代码和资源等doc 目录是一些第三方的文档工具承接上一篇文档《向HBase添加日志信息》创建类NewInstallUserMapper 编写类阅读全文

posted @ 2020-05-11 22:35 那山的狐狸阅读(129) 评论(0) 推荐(0) 编辑

Spark案例练习-UV的统计

摘要：关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）云盘目录说明：tools目录是安装包res 目录是每一个课件对应的代码和资源等doc 目录是一些第三方的文档工具承接上一篇文档《Spark案例练习-PV的统计》参数说明：继续上面的PV代码编写即可思路：UV 阅读全文

posted @ 2020-05-08 23:43 那山的狐狸阅读(335) 评论(0) 推荐(0) 编辑

Spark案例练习-PV的统计

摘要：关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）云盘目录说明： tools目录是安装包res 目录是每一个课件对应的代码和资源等doc 目录是一些第三方的文档工具承接上一篇文档《Spark应用的结构》参数说明：创建一个Maven项目 Pom文件引入jar 阅读全文

posted @ 2020-05-05 21:42 那山的狐狸阅读(335) 评论(0) 推荐(0) 编辑

Spark应用的结构的学习

摘要：关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）承接上一篇文档《Standalone集群搭建和Spark应用监控》需要了解的概念一、Spark应用的结构（Driver + Executors）（一）、Driver：相当于MapReduce中Applica 阅读全文

posted @ 2020-04-28 23:10 那山的狐狸阅读(177) 评论(0) 推荐(0) 编辑

编写程序向HBase添加日志信息

摘要：关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）承接上一篇文档《日志信息和浏览器信息获取及数据过滤》上一个文档最好做个本地测试将map方法改为public，做一个测试看是否有错误代码，代码和之前的MainProcess基本一样之前完成了数据的过滤、补全，阅读全文

posted @ 2020-04-19 23:09 那山的狐狸阅读(347) 评论(0) 推荐(0) 编辑

Nginx日志通过Flume导入到HDFS中

摘要：关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新） flume上传到hdfs：当我们的数据量比较大时，比如每天的日志文件达到5G以上使用hadoop的put命令不稳定后期考虑引入新的日志上传框架flume source类： exec 监控文件：tail -f 阅读全文

posted @ 2020-04-19 22:53 那山的狐狸阅读(395) 评论(0) 推荐(0) 编辑

日志通过脚本导入到HDFS当中

摘要：可以关注公众号：分享电脑学习回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）利用shell脚本定时备份日志数据到HDFS上（适合日志数据比较少的时候）时间命令 date +"%Y%m%d" 今天的日期 date -d "1 day ago" +"%Y%m%d" 昨天的日期 date 阅读全文

posted @ 2020-04-19 22:32 那山的狐狸阅读(369) 评论(0) 推荐(0) 编辑