07 2020 档案

scala 笔记
摘要：如果操作列表的话, 请使用 ListBuffer 如: val lstBuf = mutable.ListBuffer[String]() lstBuf += "111" lstBuf += "22" lstBuf += ("abab", "ddd", "ddd") lstBuf.toList.fo 阅读全文
posted @ 2020-07-30 15:44 龘人上天 阅读(134) 评论(0) 推荐(0) 编辑
Akka Netty 比较
摘要：从Akka出现背景来说，它是基于Actor的RPC通信系统，它的核心概念也是Message，它是基于协程的，性能不容置疑；基于scala的偏函数，易用性也没有话说，但是它毕竟只是RPC通信，无法适用大的package/stream的数据传输，这也是Spark早期引入Netty的原因。 那么Netty 阅读全文
posted @ 2020-07-30 15:24 龘人上天 阅读(5562) 评论(0) 推荐(0) 编辑
spark 笔记2
摘要：一、Spark Shuffle 的发展 Spark 0.8及以前 Hash Based Shuffle Spark 0.8.1 为Hash Based Shuffle引入File Consolidation机制 Spark 0.9 引入ExternalAppendOnlyMap Spark 1.1 阅读全文
posted @ 2020-07-22 17:51 龘人上天 阅读(169) 评论(0) 推荐(0) 编辑
使用implicitly demo
摘要：泛型: Context Bounds // //定义一个隐式值, 这个值不能少, 要不找不到比较的对象 implicit val personCompartor = new Ordering[Person] { override def compare(p1: Person, p2: Person) 阅读全文
posted @ 2020-07-09 21:22 龘人上天 阅读(177) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示