摘要：
密封类: 1,使用 sealed 修饰的类或者特质，不能在类定义文件之外定义它的子类 2,可以避免滥用继承 3,用在模式匹配之中,可以让编译器在编译阶段进行检查，确保当前匹配的完整性 package day01 sealed abstract class Furniture //定义两个样例类 case class Couch() extends Furniture case class ... 阅读全文
摘要：
spark cache: 1,cache 方法不是被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用 2, cache 是调用的 persist() 默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中 3,cache 默认的存储级别都是仅在内存存储一份，Spark的存储级别还有好多种，存储级别在obje... 阅读全文
摘要：
Actor 通信架构: 1,Spark2.x 版本使用 Netty通讯框架作为内部通讯组件。spark 基于netty新的rpc框架借鉴了 Akka 的中的设计， 它是基于 Actor 模型 2,Endpoint（ Client/Master/Worker）有 1 个 InBox 和 N 个 OutBox（ N>=1，N 取决于当前 Endpoint 与多少其他的 Endpoint 进... 阅读全文
摘要：
#三个线程使用别名 agent3.sources = r1 agent3.channels = c1 agent3.sinks = s1 agent3.sources = r1 # 数据是使用的命令行 agent3.sources.r1.type = exec # 数据来自于此命令行获取数据 age 阅读全文
摘要：
<configuration> <!--指向namenode(指定包含namenode的主机文件夹) --> <property> <name>hbase.rootdir</name> <value>hdfs://sr128:8020/hbase</value> </property> <!--设置 阅读全文