摘要:
1,方法的重载和方法的重写 方法名相同形参列表不通 方法名字的重新定义2,面向过程是分步骤解决问题 用方法组织代码 面向对象是以分类的方式解决问题 用类住址代码3 类是对对象的抽象 对象万事万物都是对象4 方法和构造器的重载发生就近原则5 方法执行结束这个方法的变量和形参都会消失6 this指向当前 阅读全文
摘要:
比如两个rdd 两个分区合并去他们的并集 intersection 去数据的交集 subtract去差集 mappartition与map像是遍历的单位是每个pation分区的数据进来的是iterrter是迭代器 distinct去重(map+reducebykey+map) cogroup 作用在 阅读全文
摘要:
strom 容错性 nimbus 挂掉之后会不会集群就崩塌了 因为有了zookeeper所以协调的事情就简单了 数据的完整性 比如不是物理条件什么的错误 是消息传递时比如 我切割ack不能保证数据被重复计算 只能保证数据最少被计算一次 drpc 分布式的远程调用lineardrpc 一种线性的半自动 阅读全文
摘要:
1.自然连接(natural join)自然连接将表中具有相同名称的列自动进行匹配,自然连接不必指定任何同等连接条件也不能认为指定哪些列需要被匹配,自然连接得到的结果表中,两表中名称相同的列只出现一次。select * from employee natural join department; 2 阅读全文
摘要:
https://blog.csdn.net/qq_39481696/article/details/82597912 hbase 入门https://blog.csdn.net/guolindonggld/article/details/82767620 package org.bathkafka. 阅读全文
摘要:
public class SparkSqlBathLog { public static void main(String[] args) { SparkConf conf = new SparkConf(); conf.setMaster("local[2]").setAppName("jsonf 阅读全文
摘要:
1、打印文件的第一列(域) : awk '{print $1}' filename 2、打印文件的前两列(域) : awk '{print $1,$2}' filename 3、打印完第一列,然后打印第二列 : awk '{print $1 $2}' filename 4、打印文本文件的总行数 : 阅读全文
摘要:
1. CDH简介 简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。 2.cloudera manager的功能 1) 管理:对集群 阅读全文