摘要： 需求分析 以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） ~~~javaA:B,C,D,F,E,OB:A,C,E,KC:A,B,D,E,I D:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E 阅读全文

摘要： 概述 ​ 适用于关联表中有小表的情形. ​ 使用分布式缓存,可以将小表分发到所有的map节点，这样，map节点就可以在本地对自己所读到的大表数据进行join并输出最终结果，可以大大提高join操作的并发度，加快处理速度 #### 实现步骤 先在mapper类中预先定义好小表，进行join 引入实际场 阅读全文

摘要： 需求 > 假如数据量巨大，两表的数据是以文件的形式存储在 HDFS 中, 需要用 MapReduce 程序来实现以下 SQL 查询运算>> ```sql> select a.id,a.date,b.name,b.category_id,b.price from t_order a left join 阅读全文

摘要： 需求三: 手机号码分区 在需求一的基础上，继续完善，将不同的手机号分到不同的数据文件的当中去，需要自定义分区来实现，这里我们自定义来模拟分区，将以下数字开头的手机号进行分开 135 开头数据到一个分区文件 136 开头数据到一个分区文件 137 开头数据到一个分区文件 其他分区 自定义分区 publ 阅读全文

摘要： ### 需求二: 上行流量倒序排序（递减排序） 分析，以需求一的输出数据作为排序的输入数据，自定义FlowBean,以FlowBean为map输出的key，以手机号作为Map输出的value，因为MapReduce程序会对Map阶段输出的key进行排序 ##### Step 1: 定义FlowBea 阅读全文

摘要： ### 需求一: 统计求和 统计每个手机号的上行数据包总和，下行数据包总和，上行总流量之和，下行总流量之和分析：以手机号码作为key值，上行流量，下行流量，上行总流量，下行总流量四个字段作为value值，然后以这个key，和value作为map阶段的输出，reduce阶段的输入 ##### Step 阅读全文

摘要： 序列化 (Serialization) 是指把结构化对象转化为字节流 * 反序列化 (Deserialization) 是序列化的逆过程. 把字节流转为结构化对象. 当要在进程间传递对象或持久化对象的时候, 就需要序列化对象成字节流, 反之当要将接收到或从磁盘读取的字节流转换为对象, 就要进行反序列 阅读全文

摘要： 第五个故事，机关办事员和学校的教授:谁提出的问题？大家都有过类似的体会吧，去办事的时候，办事员跟你说今天缺个这，明天补个那，资料总是不全，还一本正经的跟你说:这是流程。中介应运而生，你交了钱，他们去帮你交资料。资料还是那些资料，流程上的问题一下子就消失了。 学校的考试题，鲁迅，___人，你填“男人” 阅读全文

摘要： 第三个故事，各种各样的钱:什么是问题？打开钱包，掏出不同面额的钱看一看，你能看出什么来吗？ 硬币有一角，五角，一元。一角钱最小，轻，呈银白色；五角钱稍大一点儿，重量差别感觉不到，呈黄铜色；一元钱最大，重，呈银白色。纸币从一角到一百元，面积越来越大，颜色各不相同。 为什么这样设计？第一，提高大多数人的 阅读全文

摘要： 这本书的风格:几个故事，几个问题，几个特立独行的结局。 每个故事好像都有一个答案，可是，你偷懒的以为答案就是答案的时候，问题还没有结束。 第一个故事，等电梯:问题是什么？在办公楼里办公的员工抱怨等电梯时间太长。 这是个问题吗？ 问题的定义:问题就是理想状态和现实状态之间的差别。对楼里的办公人员来说， 阅读全文