酱汁怪兽

2021年7月21日

摘要： 1、项目需求（1）统计页面的浏览量PV 使用mapreduce统计（2）统计各个省份的浏览量省、市 ip统计（3）统计页面的访问量各个页面的访问量 url 各页面的ID 2、数据离线处理流程（1）LogServer：很多的服务器（集群外）前端客户在访问的时候，会请求日志并在LogSer 阅读全文

posted @ 2021-07-21 14:43 酱汁怪兽阅读(141) 评论(0) 推荐(0) 编辑

电商项目实战-用户行为日志（一）

摘要： 1、用户行为日志概述（1）每一次访问的行为（访问、搜索）产生的日志点进来花了多少时间加入购物车、花了多少时间下单、花了多少时间支付，这些对电商品台都是很重要的。（2）历史行为数据（已完成的订单）（3）综合（1）和（2），开始系统推荐（4）推荐系统是为了订单的转化量（5）浏览器设置更多工阅读全文

posted @ 2021-07-21 13:58 酱汁怪兽阅读(610) 评论(0) 推荐(0) 编辑

2021年7月20日

提交流量统计案例到YARN上运行

摘要： 1、总运行步骤（0）提交自己开发的MR作业到YARN上运行的步骤（1）打包：mvn clean package -DskipTests （2）把编译出来的jar包（项目根目录/target/...jar）以及测试数据上传到服务器 scp xxxx hadoop@hostname:director 阅读全文

posted @ 2021-07-20 16:22 酱汁怪兽阅读(70) 评论(0) 推荐(0) 编辑

2021年7月19日

提交example案例到YARN上运行

摘要： 0、使用官方例子，将MapReduce提交到YARN上运行 1、进入文件夹 [hadoop@hadoop000 mapreduce]$ pwd/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce[hadoop@hadoop000 阅读全文

posted @ 2021-07-19 16:22 酱汁怪兽阅读(279) 评论(0) 推荐(0) 编辑

YARN资源调度框架环境部署

摘要： 1、步骤 https://archive.cloudera.com/p/cdh5/cdh.hadoop-2.6.0-cdh5.15.1 （1）进入文件夹 [hadoop@hadoop000 hadoop]$ pwd /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/et 阅读全文

posted @ 2021-07-19 14:50 酱汁怪兽阅读(47) 评论(0) 推荐(0) 编辑

YARN资源调度框架执行流程

摘要： 1、执行流程（1）客户端先提交一个应用程序（数据作业）到YARN上，此时是与RM进行交互。（2）RM与NM通信，为应用程序（数据作业）分配第一个container （3）启动container，运行应用程序（数据作业）的AM （4）双向箭头，AM先注册到RM上，这样客户端可以直接查到作业的运行状阅读全文

posted @ 2021-07-19 10:49 酱汁怪兽阅读(228) 评论(0) 推荐(0) 编辑

YARN资源调度框架详解

摘要： 1、YARN （1）Yet Another Resource Negotiator （2）通用的资源管理系统（3）为上层应用提供统一的资源管理和调度 2、架构要点： Client、ResourceManager、NodeManager、ApplicationMaster master/slave：阅读全文

posted @ 2021-07-19 09:46 酱汁怪兽阅读(117) 评论(0) 推荐(0) 编辑

2021年7月16日

流量统计之自定义Partitioner（第六步）

摘要： 1、Partitioner即reduce上进行自定义分区个数先搜索Partitioner.java。然后在HashPartitioner.java中： public class HashPartitioner<K, V> extends Partitioner<K, V> { public int 阅读全文

posted @ 2021-07-16 15:14 酱汁怪兽阅读(40) 评论(0) 推荐(0) 编辑

流量统计之代码重构NullWritable（第五步）

摘要： 1、Access.java @Override //为了后续使用方便，定义了一个toString //具体方式：右键-Generate-toString() public String toString() { return phone + "," + up + "," + down + "," + 阅读全文

posted @ 2021-07-16 10:43 酱汁怪兽阅读(98) 评论(0) 推荐(0) 编辑

流量统计之Driver开发（第四步）

摘要：注意：项目转移至新电脑上 1、AccessLocalApp.java package mr.access; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache 阅读全文

posted @ 2021-07-16 09:21 酱汁怪兽阅读(51) 评论(0) 推荐(0) 编辑

公告