摘要：
yarn application -kill <applicationId> 阅读全文
摘要：
A quick tour of JSON libraries in Scala Update (18.11.2015): added spray-json-shapeless libraryUpdate (06.11.15): added circe library Some time ago I 阅读全文
摘要：
这是官方文档的一段代码。 在scala REPL中运行正常，版本为2.10.4。可是在spark-shell中，运行出错，版本1.3.1,scala版本2.10.4。 另有sbt编译正常通过，在IDEA中报错。 而且就是在函数实参传形参的那一步报类型匹配错误。猜测应该跟Enumeration的实现用 阅读全文
摘要：
在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。 lzo本身不是splitable的，所以当数据为t 阅读全文
摘要：
mvn install:install-file \ -DgroupId=com.weibo.datasys.weistreamng \ -DartifactId=weistreamng-092-framework \ -Dversion=0.0.32-jar-with-dependencies \ 阅读全文
摘要：
Hadoop安装完后，启动时报Error: JAVA_HOME is not set and could not be found.解决办法： 修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。 应当使用绝对路径。 export JAVA_HOME=$JAVA_HOME 阅读全文
摘要：
bashrc与profile的区别 要搞清bashrc与profile的区别，首先要弄明白什么是交互式shell和非交互式shell，什么是login shell 和non-login shell。 交 互式模式就是shell等待你的输入，并且执行你提交的命令。这种模式被称作交互式是因为shell与 阅读全文
摘要：
import java.net.ServerSocket import java.io.OutputStreamWriter import java.io.BufferedWriter val listener = new ServerSocket(15209) val server = listener.accept val osServ = server.getOutputStream va... 阅读全文
摘要：
处理数据类型为Value型的Transformation算子可以根据RDD变换算子的输入分区与输出分区关系分为以下几种类型。 1）输入分区与输出分区一对一型。 2）输入分区与输出分区多对一型。 3）输入分区与输出分区多对多型。 4）输出分区为输入分区子集型。 5）还有一种特殊的输入与输出分区一对一的 阅读全文
摘要：
1）RDD的cache()方法其实调用的就是persist方法，缓存策略均为MEMORY_ONLY；2）可以通过persist方法手工设定StorageLevel来满足工程需要的存储级别；3）cache或者persist并不是action； 附：cache和persist都可以用unpersist来 阅读全文