摘要:
前提: 在spark环境下,当我们传递一个操作(例如:map,reduce)的函数到远程多个节点上进行运行时,各个节点都需要使用到该函数中的变量。如果变量比较大,如何下发这些变量呢?如果我们使用下面的方式,进行数据下发: 即将变量从Driver下发到每一个执行的task中。 例如:50个execut 阅读全文
摘要:
流规则组成:每条流规则由一系列字段组成,分为基本字段、条件字段和动作字段三部分 一:基本字段 基本字段包括生效时间duration_sec、所属表项table_id、优先级priority、处理的数据包数n_packets,空闲超时时间idle_timeout等,空闲超时时间idle_timeout 阅读全文
摘要:
http://www.openvswitch.org/support/dist-docs/ovs-vsctl.8.txt 转载自:https://blog.csdn.net/rocson001/article/details/73163041 推荐使用mininet模拟环境进行命令操作,例如:不同于 阅读全文
摘要:
参考:https://www.cnblogs.com/qingyunzong/p/8945933.html 一:Spark中的基本概念 (1)Application:表示你的应用程序 (2)Driver:表示main()函数,创建SparkContext。由SparkContext负责与Cluste 阅读全文
摘要:
一:RDD简介 (一)RDD概念 RDD(Resilient Distributed DataSet),弹性分布式数据集,是Spark中最基本,也是最重要的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知度调度和可伸缩性。RDD允许用户在 阅读全文
摘要:
转载自:https://www.cnblogs.com/qingyunzong/p/8886338.html 一:Spark简介 (一)Spark介绍 spark是用于大规模数据处理的统一分析引擎。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计 阅读全文
摘要:
一:Scala函数式编程 (一)匿名函数 object ClassTest{ def main(args:Array[String]):Unit={ var func = (x:Int)=> { //或者直接(x:Int)=>x+3 x+3 } println(func(3)) } } 匿名函数返回 阅读全文
摘要:
补充:Scala中class和object区别 (一)class calss scala编译器会字段帮我们生产一个私有字段和2个公有方法get和set scala 中没有 static 关键字,所以 对于一个class来说,所有的方法和成员变量在实例被 new 出来之前都是无法访问的 因此在clas 阅读全文
摘要:
一:Scala安装 (一)Scala学习之路 (一)Scala的安装 补充:下载速度慢,可以使用百度云等软件进行下载(将https改为http即可下载) (二)命令行测试使用 (三)eclipse安装scala创建 https://baijiahao.baidu.com/s?id=165923977 阅读全文
摘要:
一:flume简介及安装 Flume学习笔记:Flume的安装与基础应用 Flume学习之路 (一)Flume的基础介绍 Flume学习笔记:Flume集群的Avro RPC实现 Flume学习之路 (二)Flume的Source类型 Flume学习之路 (三)Flume的配置方式 flume拦截器 阅读全文