2018年5月6日

mapreduce实现分组求最大

摘要： package cn.itcastcat.bigdata.secondarysort; import org.apache.hadoop.io.WritableComparable; import org.apache.hadoop.io.WritableComparator; /** * 利用reduce端的GroupingComparator来实现将一组bean看成相同的key * ... 阅读全文

posted @ 2018-05-06 16:55 huodaihao 阅读(211) 评论(0) 推荐(0) 编辑

数据相关脚本

摘要： #!/bin/sh . /home/db2inst1/.profile #数据上报程序 #author huodaihao #获得系统 DATE=$(date +%Y%m%d) DATE_TIME=$(date +'%Y%m%d%H%M%S') ORG="Z2017112000011" DBNAME="pbctjuat" USERNAME="db2admin" PASSWORD="db... 阅读全文

posted @ 2018-05-06 15:59 huodaihao 阅读(258) 评论(0) 推荐(0) 编辑

mapreduce实现社交中共同好友

摘要： 测试数据中给了一个单向的一个用户有哪些好友， A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I, 阅读全文

posted @ 2018-05-06 09:55 huodaihao 阅读(323) 评论(0) 推荐(0) 编辑

导航