那山的狐狸 - 博客园

Standalone集群搭建和Spark应用监控

摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6815920501530034696/ 承接上一篇文档《Spark词频前十的统计练习》 Spark on standalone 类似于yarn的一个集群资源管理框架，spark自带的 yarn ResourceMan 阅读全文

posted @ 2020-04-15 21:07 那山的狐狸阅读(212) 评论(0) 推荐(0) 编辑

日志信息和浏览器信息获取及数据过滤

摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6815135249589076493/ 承接上一个课件《分析Nginx日志获取IP地址的省份信息》现在希望是获取浏览器和操作系统相关数据准备一个工具类UserAgentUtil 编写代码解析浏览器的userag 阅读全文

posted @ 2020-04-14 10:50 那山的狐狸阅读(339) 评论(0) 推荐(0) 编辑

Spark词频前十的统计练习

摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6815390070254600712/ 承接上一个文档《Spark本地环境实现wordCount单词计数》进一步延伸，做一个词频前十的统计练习逻辑：在reduceByKey的基础上，首先要根据key对应的valu 阅读全文

posted @ 2020-04-14 10:47 那山的狐狸阅读(349) 评论(0) 推荐(0) 编辑

Spark-local本地环境搭建

摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6815385772254822919/ 承接上一个文档《Spark源码编译》解压spark编译好的压缩包 sudo tar -zxvf spark-2.0.2-bin-2.7.3.tgz -C /opt/bigda 阅读全文

posted @ 2020-04-14 10:41 那山的狐狸阅读(711) 评论(0) 推荐(0) 编辑

js页面触发chargeRequest事件和Nginx获取日志信息

摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6814836302966424072/ 承接上一篇文档《js页面触发pageView和event事件编写》 chargeRequest事件该事件的主要作用是记录用户产生订单的行为/数据思路图 Keys添加信息服阅读全文

posted @ 2020-04-12 23:39 那山的狐狸阅读(180) 评论(0) 推荐(0) 编辑

通过js触发onPageView和event事件获取页面信息

摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6814814715022148100/ 承接上一篇文档《js页面触发launch事件编写》 pageView事件是pc端的基本事件类型，主要是描述用户访问网站信息思路图首先keys中添加事件标识然后发送到服务器阅读全文

posted @ 2020-04-12 23:34 那山的狐狸阅读(428) 评论(0) 推荐(0) 编辑

通过js触发launch事件获取页面信息

摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6814776265602499080/ 承接上一篇文档《页面Cookie的JS文件编写》思路继续之前的js编写在keys中添加launch事件标识再添加一个会员编号的参数加入get/set方法准备发送到服阅读全文

posted @ 2020-04-12 23:29 那山的狐狸阅读(609) 评论(0) 推荐(0) 编辑

利用js模拟用户的cookie信息保存

摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6814761849708347907/ 默认已完成爬虫文档《爬虫学习文档顺序》并简单搭建完展示页面和管理后台的练习部分例如管理后台：展示页面：接下来完成Cookie的实现思路如下图：创建一个js文件和i 阅读全文

posted @ 2020-04-12 23:23 那山的狐狸阅读(534) 评论(0) 推荐(0) 编辑

Spark本地环境实现wordCount单词计数

摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6814778610788860424/ 编写类似MapReduce的案例-单词统计WordCount 要统计的文件为Spark的README.md文件分析逻辑： 1. 读取文件，单词之间用空格分割 2. 将文件里单阅读全文

posted @ 2020-04-12 23:11 那山的狐狸阅读(374) 评论(0) 推荐(0) 编辑

Spark-2.0.2源码编译

摘要：注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6813925210731840013/ Spark官网下载地址： http://spark.apache.org/downloads.html 有两种一种是编译好的一种是没编译的（需要自己编译）看自己的选择下载阅读全文

posted @ 2020-04-10 12:25 那山的狐狸阅读(173) 评论(0) 推荐(0) 编辑