摘要: maven打包时报错: 报错信息: 解决方法: 因为配置了JobHistoryServer所以需要启动 yarn 和 HDFS spark-shell 启动报错: 解决方法: 因为配置了JobHistoryServer所以需要启动 yarn 和 HDFS 阅读全文
posted @ 2019-07-05 21:58 LXL_1 阅读(1375) 评论(0) 推荐(0) 编辑
摘要: 案例实操 Spark Shell 仅在测试和验证我们的程序时使用的较多,在生产环境中,通常会在 IDE 中编制程序,然后打成 jar 包,然后提交到集群,最常用的是创建一个 Maven 项目,利用 Maven 来管理 jar 包的依赖。 1 编写 WordCount 程序 1)创建一个 Maven 阅读全文
posted @ 2019-07-05 17:01 LXL_1 阅读(633) 评论(0) 推荐(0) 编辑
摘要: Akka 实例 18.1需求分析 实现一个分布式模型,Master 保持所有 Worker 节点的信息,根据 Worker 的心跳信息维持与 Worker 的连接,Worker 启动时向 Master 节点进行 注册,Master 节点回复 ACK 信息。 18.2项目源代码 18.2.1 新建 M 阅读全文
posted @ 2019-07-05 04:01 LXL_1 阅读(546) 评论(0) 推荐(0) 编辑
摘要: 第17章 Actor 并发 17.1 Actor 模型 Actor 模型在并发程序中通过尽量避免锁和共享状态来设计并发,整个 Actor 模型是一个异步模型,系统中抽象出很多 Actor,每一个 Actor 是一个 消息的发送方和接受方,每一个 Actor 都有一个邮箱,类似于队列,ActorA 发 阅读全文
posted @ 2019-07-05 03:32 LXL_1 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 第16章 高级类型 16.1 类型与类的区别 在 Java 里,一直到 jdk1.5 之前,我们说一个对象的类型(type),都与它 的 class 是一一映射的,通过获取它们的 class 对象,比 如 String.class, int.class, obj.getClass() 等,就可以判断 阅读全文
posted @ 2019-07-05 01:48 LXL_1 阅读(235) 评论(0) 推荐(0) 编辑
摘要: 第15章 文件和正则表达式 15.1 读取行 import scala.io.Source object FileSyllabus { def main(args: Array[String]): Unit = { //文件读取 val file1 = Source.fromFile("D:\\Da 阅读全文
posted @ 2019-07-05 00:27 LXL_1 阅读(297) 评论(0) 推荐(0) 编辑