摘要：
Spark sql hive 整合 http://shiyanjun.cn/archives/1113.html都这个点了，很多同事还没有到公司，得那我就简单写个spark sql 的示例 回顾而知新，孔老子明智package com.ib.e3import org... 阅读全文
摘要：
同事都被老板叫去开会了 ....... 已经开了两个小时了 GOD 广播变量 broadcast这个变量只能在drive 端修改，不能在executor 端修改不产生shuffle 的 优化，但是需要这个RDD 数据量较小累加器 accumulator在executo... 阅读全文
摘要：
package cn.dowhatyouwant.codes/** * Created by DengNi on 2016/8/31. * Scala 是动态语言，静态类型，因为难，所以用起来方便 * spark 太优秀每个人都应该去学习，使用 * 学习spa... 阅读全文
摘要：
sed用法实例1.替换命令 s ,不改变原来文件sed 's/book/bookall/' mysedsed -n 's/book/bookall/' mysed -n 单独使用不会输出任何内容sed 's/book/bookall/p' mysedp 单独使用，就是... 阅读全文
摘要：
利用中午休息时间配置了个环境，写个Word count 本地模式测试下 环境 ， 环境OkayScala 2.10.4Java 1.7.08Spark 1.6.0package com.ib.e3import org.apache.spark.{SparkConf,... 阅读全文
摘要：
standalong 模式需要在spark master 节点上启动 spark/sbin/start-all.sh主从节点都可以runstandalong client./bin/spark-submit --class org.apache.spark.examp... 阅读全文
摘要：
Scala is a statically typed, object-oriented programming language that blends imperative and functional programming styles. Scala isde... 阅读全文
摘要：
http://www.cnblogs.com/yjf512/p/4199105.htmlhttp://www.tuicool.com/articles/QFvARfr缓存可以使用Kafka MQ 阅读全文
摘要：
搭建各个组建版本 centos 6.5hadoop 2.5.1hive 1.2.1 注意 jline 问题 myaql 驱动mysql yum 安装的 ，版本基本不需要控制 hbase 1.1.3kylin 1.5.1--hbase 1.1.3 ... 阅读全文
摘要：
cat /etc/profile 配置 /usr/local/zookeeper-3.4.6/bin/zkServer.sh start 阅读全文