2017年5月14日
MapReduce编程练习（三），按要求不同文件名输出结果
摘要： 问题：按要求文件名输出结果，比如这里我要求对一个输入文件中的WARN，INFO，ERROR，的信息项进行分析，并分别输入到对应的以WARN，INFO。ERROR和OTHER开头的结果文件中，其中结果文件包含对应的相关信息。输入文件： 输入文件为hadoop的一些... 阅读全文
posted @ 2017-05-14 17:24 zhou_jun 阅读(445) 评论(0) 推荐(0) 编辑
mapreduce编程练习（二）倒排索引 Combiner的使用以及练习
摘要： 问题一：请使用利用Combiner的方式：根据图示内容编写maprdeuce程序示例程序package com.greate.learn;import java.io.IOException;import java.net.URI;import java.util.S... 阅读全文
posted @ 2017-05-14 17:15 zhou_jun 阅读(406) 评论(0) 推荐(0) 编辑
Zookeeper+Kafka+Spark streaming单机整合开发
摘要： 环境准备： ubuntu 开发环境： jdk 1.8 scala：2.11.0 spark 2.0 zookeeper 3.4.6 kafka 2.12-0.10.2.0 开始整合： 1 zookeeper的安装，这里我使用的zookeeper版本为3.4.6 a， 下载zookeeper安装包zo 阅读全文
posted @ 2017-05-14 16:44 zhou_jun 阅读(834) 评论(0) 推荐(0) 编辑