Cccc杨

spark中的文件读取与存储

摘要：一、saveAsTextFile(path:String) 把RDD保存到hdfs中。二、reparation(numPartitions:Int) 可以增加或减少此RDD的并行级别在内部它使用shuffle重新分发数据。 //首先查看这个RDD有多少分区 scala> allscores.p 阅读全文

posted @ 2021-03-11 16:50 Cccc杨阅读(176) 评论(0) 推荐(0) 编辑

spark中的算子

摘要： Transformation类型算子:不会定义后立即执行的算子 Actions类型算子：立即执行 1.map算子把原来的数据用map的自定义形式来切换成新的RDD。 scala> rdd_f1.collect() res32: Array[String] = Array(i am a sutdne 阅读全文

posted @ 2021-03-08 15:48 Cccc杨阅读(241) 评论(0) 推荐(0) 编辑

Zookeeper的基本安装和操作

摘要：一、注意事项：在zoo.cfg文件中设置的zkDir位置下创建zkDate目录，并且增加一个 myid 的文件，文件内容为当前节点的zookeeper的编号。二、基本操作： 1. ls / 查看当前znode所包含的内容 2. ls2 / 查看当前znode节点的详细数据。 3.create / 阅读全文

posted @ 2021-03-02 17:12 Cccc杨阅读(84) 评论(0) 推荐(0) 编辑

Java中的泛型

摘要：泛型：一种未知的数据类型，当不知道使用什么数据类型的时候可以使用泛型。也可以看做是一个变量，用来接收数据。例如： E e ：element 元素 T t ：type 类型 ArrayList集合在定义的时候，不知道集合中会存那些数据类型的数据，所以类型使用泛型E定义未知数据。例如： publ 阅读全文

posted @ 2021-03-01 21:29 Cccc杨阅读(37) 评论(0) 推荐(0) 编辑

Java中的Iterator接口

摘要：迭代器：即Collection集合元素的通用获取方式，在取出元素之前要先判断集合中有无元素，如果有，取出；继续判断、取出，直到把所有元素取出。 Iterator两个常用方法： boolean hasNext（）：集合中有没有下一个元素，有就返回true E next（）：取出集合中的下一个元素使阅读全文

posted @ 2021-03-01 20:58 Cccc杨阅读(62) 评论(0) 推荐(0) 编辑

Java中的集合Collection

摘要：集合：一种容器，用来存储多个数据。数组也是容器。但是长度是固定的，集合长度是可变的。数组可以存储基本类型（只能是同一个类型），也可以存储对象。集合存储的都是对象，而且对象的类型可以不一致。学习集合的目标： 1.会使用集合存储数据 2.会遍历集合把数据取出 3.掌握每种集合的特性集合框架的阅读全文

posted @ 2021-02-28 21:26 Cccc杨阅读(33) 评论(0) 推荐(0) 编辑

Java中的包装类

摘要：包装类：拆箱和装箱：基本类型与对应包装类对象之间，来回转换的过程称为“装箱”和“拆箱”。装：从基本类型装换转化为对应的包装类对象。拆：相反。自动拆箱与自动装箱： //自动装箱直接把int类型的整数赋值给包装类 Integer in = 1; //相当于 Integer in = new 阅读全文

posted @ 2021-02-28 21:23 Cccc杨阅读(27) 评论(0) 推荐(0) 编辑

Java中StringBuilder

摘要： string类：字符串是常量它们的值在创建之后不能更改字符串的底层是一个被final修饰的数组不能改变是一个常量进行字符串的相加时内存中会有多个字符串，占用的空间很多效率低下 String s = "a" + "b" + "c" s="abc" a b c这是三个字符串第一次➕ a 阅读全文

posted @ 2021-02-24 21:48 Cccc杨阅读(98) 评论(0) 推荐(0) 编辑

Java中System类的两个常用方法

摘要： 1.currentTimeMills 返回以毫秒为单位的时间可以用于计算程序的效率 2.arraycopy 方法可以更改数组的元素内容 arraycopy(int [] arr,int arrIndex,int[] desc,int destIndex,int count) 阅读全文

posted @ 2021-02-24 20:28 Cccc杨阅读(27) 评论(0) 推荐(0) 编辑

Flume的Channel选择器

摘要： a1.sources = r1a1.channels = c1 c2a1.sinks = s1 s2a1.sources.r1.type = netcata1.sources.r1.bind = mastera1.sources.r1.port = 44444a1.sources.r1.channe 阅读全文

posted @ 2021-02-23 19:49 Cccc杨阅读(211) 评论(0) 推荐(0) 编辑

导航

公告