随笔分类 -  Scala

摘要：在Kafka中应用了大量的 延迟操作 但在Kafka中 并没用使用JDK自带的Timer或是DelayQueue用于延迟操作，而是使用自己开发的DelayedOperationPurgatory组件用于管理延迟操作，Kafka这类分布式框架有大量延迟操作并且对性能要求及其高，而java.util.T 阅读全文

摘要：Akka可能很多人都没有用过，也不知道是什么，但如果说起Scala或Spark就有很多人都听说过或使用过 ，这里简单说下三者的关系Akka是使用Scala开发的，Spark中使用了Akka作为其消息的通信工具；这篇文章主要 说说Akka的一些特性，做个简要的介绍； 要说Akka首先要从 并发 开始说 阅读全文

摘要：Spark作为分布式的大数据处理框架必然或涉及到大量的作业调度，如果能够理解Spark中的调度对我们编写或优化Spark程序都是有很大帮助的； 在Spark中存在 转换操作（Transformation Operation） 与 行动操作(Action Operation) 两种；而转换操作只是会从 阅读全文

摘要：Spark执行不少操作时都依赖于 闭包函数 的调用，此时如果闭包函数使用到了外部变量驱动程序在使用行动操作时传递到集群中各worker节点任务时就会进行一系列操作： 1、驱动程序使将闭包中使用变量封装成对象，驱动程序序列化对象，传给worker节点任务； 2、worker节点任务接收到对象，执行闭包 阅读全文

摘要：何为Scala物 Scala 为基于JVM虚拟机中的面向对象与 函数式编程 思想并且完全兼容Java的混合编程语言，可以是Scala与Java是同根同源的，既然Scala与JAVA都是基于JVM之上的编程语言那么Scala的特色又在哪呢 Scala最大的特色就是他是支持函数式编程的，函数式... 阅读全文