摘要:
找博客共同好友案例 1)数据准备 以下是博客的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F 阅读全文
摘要:
压缩/解压缩案例 一. 对数据流的压缩和解压缩 CompressionCodec有两个方法可以用于轻松地压缩或解压缩数据。要想对正在被写入一个输出流的数据进行压缩,我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionOutputStre 阅读全文
摘要:
日志清洗案例 一. 简单解析版 1)需求 去除日志中字段长度小于等于11的日志。 2)输入数据 3)实现代码 (1)编写LogMapper (2)编写LogDriver 二. 复杂解析版 1)需求 对web访问日志中的各字段识别切分 去除日志中不合法的记录 根据统计需求,生成各类访问请求过滤数据 2 阅读全文