2015年8月28日
Hadoop之Hive 安装_（hadoop 集群）
摘要： Hive mysql的metastore安装准备（***掌握***） 在nameNode1机子上实践： 把hive-0.12.0.tar.gz解压到/itcast/ # tar -zxvf hive-0.12.0.tar.gz -C /itcast 修改/etc/profile文件，将hive加入环境变量 # vim /etc/profile export JAVA_HOME=/usr/java/... 阅读全文
posted @ 2015-08-28 23:06 农民阿姨 阅读(263) 评论(0) 推荐(0) 编辑
Spark之Streaming
摘要： 1. socket消息发送 import java.net.ServerSocket import java.io.PrintWriter import scala.collection.mutable.ListBuffer import java.util.Random /** * Created by zzy on 8/28/15. */ /** * 模拟socket消息发送 ... 阅读全文
posted @ 2015-08-28 22:11 农民阿姨 阅读(248) 评论(0) 推荐(0) 编辑
CDH集群中YARN的参数配置
摘要： CDH集群中YARN的参数配置 前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yar 阅读全文
posted @ 2015-08-28 00:21 农民阿姨 阅读(6948) 评论(1) 推荐(0) 编辑
Spak之开发代码 _pom 配置
摘要： 1.spark on yarn import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * Created by zzy on 8/27/15. */ object SaprkOnYarn { def main(args: Array[String]) { if(args.... 阅读全文
posted @ 2015-08-28 00:10 农民阿姨 阅读(368) 评论(0) 推荐(0) 编辑
大数据处理时用到maven的repository
摘要： 由于做数据处理时，经常遇到maven 下载依赖包错误，下面我将自己下载好的repository 分享下 里边包含：Hadoop ，storm ,sprk ,kafka ,等 压缩后500多M。 http://pan.baidu.com/s/1pJN2ScV 如有问题请联系: chaoren399@126.com 阅读全文
posted @ 2015-08-28 00:02 农民阿姨 阅读(328) 评论(0) 推荐(0) 编辑