摘要:
这是官方文档的一段代码。 在scala REPL中运行正常,版本为2.10.4。可是在spark-shell中,运行出错,版本1.3.1,scala版本2.10.4。 另有sbt编译正常通过,在IDEA中报错。 而且就是在函数实参传形参的那一步报类型匹配错误。猜测应该跟Enumeration的实现用 阅读全文
摘要:
在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间,不仅如此,lzo是基于block分块的,这样他就允许数据被分解成chunk,并行的被hadoop处理。这样的特点,就可以让lzo在hadoop上成为一种非常好用的压缩格式。 lzo本身不是splitable的,所以当数据为t 阅读全文
摘要:
mvn install:install-file \ -DgroupId=com.weibo.datasys.weistreamng \ -DartifactId=weistreamng-092-framework \ -Dversion=0.0.32-jar-with-dependencies \ 阅读全文