上一页 1 2 3 4 5 6 7 8 9 ··· 11 下一页
2015年8月4日
Thread.currentThread().getContextClassLoader() 和 Class.getClassLoader()区别
摘要： 查了一些资料也不是太明白两个的区别，但是前者是最安全的用法 打个简单的比方，你一个WEB程序，发布到Tomcat里面运行。首先是执行Tomcat org.apache.catalina.startup.Bootstrap类，这时候的类加载器是ClassLoader.getSystemClassLoa 阅读全文
posted @ 2015-08-04 23:02 高兴的博客 阅读(45816) 评论(0) 推荐(2) 编辑
scala中lazy
摘要： Scala中通过lazy关键字来定义惰性变量，惰性变量只能是不可变变量。只有在调用惰性变量的时候，才会去实例化这个变量 阅读全文
posted @ 2015-08-04 22:56 高兴的博客 阅读(302) 评论(0) 推荐(0) 编辑
scala中的注解
摘要： scala中很多注解实现java中关键字的用法 阅读全文
posted @ 2015-08-04 22:55 高兴的博客 阅读(401) 评论(0) 推荐(0) 编辑
2015年8月1日
scala中的表达式
摘要： scala中的表达式是有值的, 所以可以把表达式当做参数来传递, 那么接受表达式的形参定义一般是: block: =>Unit , 没有形参,返回类型Unit spark中的这个代码很经典,可以传递一个代码块给函数: 这个函数使用如下: 传递一个代码块给上面定义的函数,所以代码可以看做是个函数的调用 阅读全文
posted @ 2015-08-01 22:51 高兴的博客 阅读(583) 评论(0) 推荐(0) 编辑
scala中枚举
摘要： scala没有从语法的角度来支持枚举,而是通过定义了一个接口Enumeration来支持的 上面是spark中的一个例子,使用type来定义一个同名的类型, 一般就是枚举的类型. Value的可以传递参数,有下面几种方法声明 大致使用就这么多吧.如果有新的后面在编辑吧 阅读全文
posted @ 2015-08-01 22:06 高兴的博客 阅读(6760) 评论(0) 推荐(0) 编辑
2015年7月30日
spark sql建表的异常
摘要： 在使用spark sql创建表的时候提示如下错误： missing EOF at 'from' near ')' 可以看下你的建表语句中是不是create external table .... ，把external删除就好了，spark sql 不支持external 关键字 阅读全文
posted @ 2015-07-30 16:47 高兴的博客 阅读(1332) 评论(0) 推荐(0) 编辑
hive和sequoiadb对接的问题
摘要： 使用hive和spark对接的时候，当两个表做JOIN的时候，如果表的数据量很大一定要做set hive.auto.convert.join=false 阅读全文
posted @ 2015-07-30 16:45 高兴的博客 阅读(219) 评论(0) 推荐(0) 编辑
2015年7月15日
java IO的总结
摘要： 1： fileChannel 没有bufferedreader快， bufferedreader 可设置缓冲大小和编码 2： bufferedreader 的readline 遇到回车也换行 阅读全文
posted @ 2015-07-15 18:23 高兴的博客 阅读(155) 评论(0) 推荐(0) 编辑
2015年7月1日
Spark的序列化
摘要： spark的序列化主要使用了hadoop的writable和java的Serializable。 说到底就是使用hadoop的writable替换了java的默认序列化实现方式。 这个有个让人疑惑的地方是使用@transient 表示该值不会被序列化,我做个一个测试是可以的，为什么呢，因为spark 阅读全文
posted @ 2015-07-01 17:51 高兴的博客 阅读(3378) 评论(0) 推荐(0) 编辑
2015年5月27日
pentaho和spark-sql对接
摘要： pentaho可以和hive做对接，所以和spark-sql做对接也是妥妥的。结果让人很失望了啊，我配置了很久都搞不定，最后脑袋突然灵机一动打通了。 1：替换pentaho自带的hive驱动。 路径 ：biserver-ce\tomcat\webapps\pentaho\WEB-INF\lib 删除 阅读全文
posted @ 2015-05-27 15:24 高兴的博客 阅读(828) 评论(1) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 11 下一页