上一页 1 ··· 5 6 7 8 9 10 下一页
摘要: 1.抽象类要加abstract 修饰 2.抽象类中可以定义抽象属性,方法,也可以定义具体的方法 3.实现类需要实现父类的抽象方法 4.可以直接将父类的抽象属性作为形参传给实现类,如class Employee(val name: String, agex: Int, gen: String) 阅读全文
posted @ 2018-08-19 22:52 生心无住 阅读(149) 评论(0) 推荐(0) 编辑
摘要: 1.若继承了父类的属性,则需要加override关键字 ,如下: class Location(override val xc: Int, override val yc: Int, val zc: Int) extends Point(xc, yc) 2.子类继承了父类的属性和方法 3.final 阅读全文
posted @ 2018-08-19 22:15 生心无住 阅读(93) 评论(0) 推荐(0) 编辑
摘要: 1.属性的定义 编写一个PersonS类,并在其中定义一些属性,通过PersonS.scala 编译后的情况查看,可以知道不同修饰符修饰的属性分别会生成什么方法(set,get) 编译后用jd-gui 反编译查看 2.构造方法的定义 1)无参主构造函数的定义 反编译结果: 反编译后可以看到,系统会自 阅读全文
posted @ 2018-08-19 18:30 生心无住 阅读(1026) 评论(0) 推荐(0) 编辑
摘要: 1.从同一个数据源尽量只创建一个rdd,后续业务逻辑复用该rdd2.如果要对某个rdd进行多次的transformation或action操作,应当持久化该rdd3.从数据源读取到rdd后,要尽早的进行filter操作以过滤掉无用的数据4.尽量避免使用shffle算子,使用shuffle时,应尽量减 阅读全文
posted @ 2018-08-13 23:36 生心无住 阅读(172) 评论(0) 推荐(0) 编辑
摘要: SimpleDataFormat 是我们常用的时间转换工具,我再spark中使用sdf对时间戳进行转换,发现转化出的时间有异常,原来sdf是线程不安全的, 改用joda time,错误消失,样例如下 <dependency> <groupId>joda-time</groupId> <artifac 阅读全文
posted @ 2018-08-13 17:14 生心无住 阅读(536) 评论(0) 推荐(0) 编辑
摘要: 视频随笔视频地址:hbase教程 1.与传统关系型数据库的区别 hbase 传统分布式 单机列动态增减 建表时候指定只有字符串一种数据类型 数值,字符空值不被存储 存储不支持SQL 查询方式单一,通过rowkey,或rowkey范围,或全表扫描列式 行式非结构化,json 结构化 2.hbase特点 阅读全文
posted @ 2018-08-12 23:06 生心无住 阅读(828) 评论(0) 推荐(0) 编辑
摘要: 环境:jdk 1.8 + hadoop2.7.6+zookeeper3.4.9+centos7 一.安装zookeeper(集群模式) 0.安装机器 ip hostname 192.168.100.9 ns1 192.168.100.10 dn1 1.下载zookeeper 2.zookeeper 阅读全文
posted @ 2018-08-10 17:04 生心无住 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 1.首先需要创建spark.history.fs.logDirectory 2.修改hadoop-defaults.conf,添加如下内容 修改spark-env.sh 添加如下内容 -Dspark.history.ui.port=7777 #设置日志监控端口 -Dspark.history.ret 阅读全文
posted @ 2018-08-09 21:36 生心无住 阅读(1049) 评论(0) 推荐(0) 编辑
摘要: Logger.getRootLogger.setLevel(Level.ERROR) 通过在代码中设置log级别即可 阅读全文
posted @ 2018-08-09 17:05 生心无住 阅读(4254) 评论(0) 推荐(1) 编辑
摘要: 1.任务是提交在yarn上的,查看 resourceManager页面 有如下信息 Current usage: 58.4 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container 阅读全文
posted @ 2018-08-09 16:54 生心无住 阅读(2589) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 下一页