摘要: 每一个用户的统计总流量 一:编写代码之前。先了解一下hadoop中的序列化 JAVA 类型 HADOOP 类型 int IntWritable float FloatWritable long LongWritable double DoubleWritable string Text boolea 阅读全文
posted @ 2019-05-02 15:51 大魔王阿黎 阅读(428) 评论(0) 推荐(0) 编辑
摘要: 一:单词计数 1:单词计数总流程图 2:代码实现 1:Map阶段 2:Reduce阶段 3:Driver阶段 4:打包程序提交到集群上运行 命令 (如果jar包没在当前目录下,记得写好路径): hadoop jar wordcount.jar it.dawn.YARNPra.wc_hdfs.Word 阅读全文
posted @ 2019-05-02 15:32 大魔王阿黎 阅读(453) 评论(0) 推荐(0) 编辑
摘要: 1大数据解决的问题? 海量数据的存储:hadoop->分布式文件系统HDFS 海量数据的计算:hadoop->分布式计算框架MapReduce 2什么是MapReduce? 分布式程序的编程框架,java->ssh ssm ,目的:简化开发! 是基于hadoop的数据分析应用的核心框架。 mapre 阅读全文
posted @ 2019-05-02 00:09 大魔王阿黎 阅读(112) 评论(0) 推荐(0) 编辑