2017年5月14日
MapReduce编程练习（三），按要求不同文件名输出结果
摘要： 问题：按要求文件名输出结果，比如这里我要求对一个输入文件中的WARN，INFO，ERROR，的信息项进行分析，并分别输入到对应的以WARN，INFO。ERROR和OTHER开头的结果文件中，其中结果文件包含对应的相关信息。输入文件： 输入文件为hadoop的一些... 阅读全文
posted @ 2017-05-14 17:24 zhou_jun 阅读(445) 评论(0) 推荐(0) 编辑
mapreduce编程练习（二）倒排索引 Combiner的使用以及练习
摘要： 问题一：请使用利用Combiner的方式：根据图示内容编写maprdeuce程序示例程序package com.greate.learn;import java.io.IOException;import java.net.URI;import java.util.S... 阅读全文
posted @ 2017-05-14 17:15 zhou_jun 阅读(406) 评论(0) 推荐(0) 编辑
Zookeeper+Kafka+Spark streaming单机整合开发
摘要： 环境准备： ubuntu 开发环境： jdk 1.8 scala：2.11.0 spark 2.0 zookeeper 3.4.6 kafka 2.12-0.10.2.0 开始整合： 1 zookeeper的安装，这里我使用的zookeeper版本为3.4.6 a， 下载zookeeper安装包zo 阅读全文
posted @ 2017-05-14 16:44 zhou_jun 阅读(834) 评论(0) 推荐(0) 编辑
2017年5月4日
学习笔记 Hadoop的job提交过程，shuffle过程以及HA机制的实现
摘要： 一，在hadoop中的mapreduce的job提交过程比较繁琐，但掌握job的提交过程是我们进入深入学习的必要。 二，mapreduce的shuffle机制三，Hadoop的HA机制。 阅读全文
posted @ 2017-05-04 22:38 zhou_jun 阅读(208) 评论(0) 推荐(0) 编辑
2017年5月2日
ubuntu下scala下载+集成IDEA开发环境
摘要： 环境须知： ubuntu 16.04 scala 2.11.0 jdk 1.8.0 Idea 2016.3 JDK环境安装 (1)安装jdk, 注意scala很好的支持jdk 1.8 的jvm 编译环境，最好安装jdk 1.8 如果软件源中没有jdk 1.8 可以去java的官网下载 点击打开链接 阅读全文
posted @ 2017-05-02 11:50 zhou_jun 阅读(402) 评论(0) 推荐(0) 编辑
Hadoop伪分布式环境搭建+Ubuntu:16.04+hadoop-2.6.0
摘要： Hello，大家好 !下面就让我带大家一起来搭建hadoop伪分布式的环境吧！不足的地方请大家多交流。谢谢大家的支持 准备环境： 1， ubuntu系统，（我在16.04测试通过。其他版本请自行测试，可参考官方文档！） 2，最好有网 下面就让我... 阅读全文
posted @ 2017-05-02 10:52 zhou_jun 阅读(250) 评论(0) 推荐(0) 编辑