09 2016 档案
摘要：在依赖库选项中会看到其中有的是 %%，而有的是一个%。 这表示 ：“要求sbt寻找用当前你配置的scala版本编译出来的jar包。” 因为scala不同版本编译出来的结果会不兼容。
阅读全文
摘要：本地仓库被我搞乱了，一气之下整个删掉了本地仓库，再重启sbt卡在Getting这一步。 Getting org.scala-sbt sbt 0.13.12 ... 卡住 补充sbt配置文件： 文件结构如下：修改了sbtconfig.txt,repo.properties. ├─bin│ sbt│ s
阅读全文
摘要：速查手册 常用命令 actions – 显示对当前工程可用的命令 update – 下载依赖 compile – 编译代码 test – 运行测试代码 package – 创建一个可发布的jar包 publish-local – 把构建出来的jar包安装到本地的ivy缓存 publish – 把ja
阅读全文
摘要：三种方法: 1. 2.更新build.sbt 3.简单暴力，但不一定能保证工程稳定 找到重复报错的包，其中发生冲突的库的配置文件，直接删掉。 我本人就是直接如此暴力解决。干脆利落。但可能会出现其他问题，一定留备份。
阅读全文
摘要：{ "auto_complete": true, "auto_complete_delay": 50, "auto_complete_size_limit": 4194304, "auto_indent": true, "color_scheme": "Packages/Color Scheme -
阅读全文
摘要：增加hosts配置： 127.0.0.1 www.sublimetext.com127.0.0.1 sublimehq.com127.0.0.1 license.sublimehq.com127.0.0.1 45.55.255.55127.0.0.1 45.55.41.2230.0.0.0 lice
阅读全文
摘要：I'm converting a json-like string into json, and the following code works in the scala repl But when it is compiled, I'm getting the following error W
阅读全文
摘要：【一】从第3000行开始，显示1000行。即显示3000~3999行 cat filename | tail -n +3000 | head -n 1000 【二】显示1000行到3000行 cat filename| head -n 3000 | tail -n +1000 *注意两种方法的顺序
阅读全文
摘要：yarn application -kill <applicationId>
阅读全文
摘要：A quick tour of JSON libraries in Scala Update (18.11.2015): added spray-json-shapeless libraryUpdate (06.11.15): added circe library Some time ago I
阅读全文
摘要：这是官方文档的一段代码。 在scala REPL中运行正常，版本为2.10.4。可是在spark-shell中，运行出错，版本1.3.1,scala版本2.10.4。 另有sbt编译正常通过，在IDEA中报错。 而且就是在函数实参传形参的那一步报类型匹配错误。猜测应该跟Enumeration的实现用
阅读全文
摘要：在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。 lzo本身不是splitable的，所以当数据为t
阅读全文
摘要：mvn install:install-file \ -DgroupId=com.weibo.datasys.weistreamng \ -DartifactId=weistreamng-092-framework \ -Dversion=0.0.32-jar-with-dependencies \
阅读全文
摘要：Hadoop安装完后，启动时报Error: JAVA_HOME is not set and could not be found.解决办法： 修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。 应当使用绝对路径。 export JAVA_HOME=$JAVA_HOME
阅读全文
摘要：bashrc与profile的区别 要搞清bashrc与profile的区别，首先要弄明白什么是交互式shell和非交互式shell，什么是login shell 和non-login shell。 交 互式模式就是shell等待你的输入，并且执行你提交的命令。这种模式被称作交互式是因为shell与
阅读全文
摘要：import java.net.ServerSocket import java.io.OutputStreamWriter import java.io.BufferedWriter val listener = new ServerSocket(15209) val server = listener.accept val osServ = server.getOutputStream va...
阅读全文
摘要：处理数据类型为Value型的Transformation算子可以根据RDD变换算子的输入分区与输出分区关系分为以下几种类型。 1）输入分区与输出分区一对一型。 2）输入分区与输出分区多对一型。 3）输入分区与输出分区多对多型。 4）输出分区为输入分区子集型。 5）还有一种特殊的输入与输出分区一对一的
阅读全文
摘要：1）RDD的cache()方法其实调用的就是persist方法，缓存策略均为MEMORY_ONLY；2）可以通过persist方法手工设定StorageLevel来满足工程需要的存储级别；3）cache或者persist并不是action； 附：cache和persist都可以用unpersist来
阅读全文
摘要：第一部份：一般指令模式可用的按鈕說明，游標移動、複製貼上、搜尋取代等 移動游標的方法 h 或 向左方向鍵(←) 游標向左移動一個字元 j 或 向下方向鍵(↓) 游標向下移動一個字元 k 或 向上方向鍵(↑) 游標向上移動一個字元 l 或 向右方向鍵(→) 游標向右移動一個字元 如果你將右手放在鍵盤上
阅读全文
