摘要:
import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount extends App { private val conf = new SparkConf() co 阅读全文
摘要:
总结 map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作,映射为另外一个rdd。 flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。 1. map会对每一条输入进行指定的操作,然后为每一条输入返回一个对象。 2. fla 阅读全文
摘要:
栈 存放java在函数中定义的基本类型的变量的引用和数据,以及对象的引用都放在栈中存储。 堆 主要存放new出来的对象和数组。 方法区 存储已经被虚拟机加载的类信息、常量、静态变量,即编译器编译后的代码等数据。 静态变量、常量在方法区;所有方法,包括静态和非静态的,也在方法区。 常量池 静态常量池 阅读全文
摘要:
import static java.lang.Math.*; public class test { public static void main(String[] args) { // 向上取整 System.out.println(ceil(-1.5)); // -1.0 System.ou 阅读全文
摘要:
虚拟机环境做准备 问题1: 出现了问题,无法将虚拟机和xshell连接。 在虚拟机输入ip addr后,无法得到当前虚拟机的主机号。 解决方案: 输入vi /etc/sysconfig/network-scripts/ifcfg-ens33 只需要把ONBOOT=no改为ONBOOT=yes 再输入 阅读全文
摘要:
1.Zookeeper的理解? Zookeeper是一个开源的分布式协调服务框架,主要负责存储和管理数据,并且接受观察者的注册,一旦关注数据发生变化,zookeeper将通知在其数据注册的观察者。 2. zookeeper特点? 1)zookeeper集群中是由一个领导者,多个跟随着组成 2)集群中 阅读全文
摘要:
分区容错性 将连续的数据分散的存储到不同的磁盘上,是否可以对数据进行分区。 (对应的是数据的备份) 可用性 每一个操作总是能够在一定时间内返回结果 (一定时间:指系统结果必须在给定时间内返回) (返回结果:指系统返回操作成功或失败的结果) 一致性 系统在执行过某项操作后仍然处于一致的状态 推导 1. 阅读全文
摘要:
lead LEAD(col, offset, default) col - 指你要操作的那一列 offset - 偏移几行,如果是1就是下1行,以此类推 default - 如果下一行不存在,用什么值填充 lag LAG(col, offset, default) col - 指你要操作的那一列 o 阅读全文
摘要:
1. 什么是hive? hive是基于Hadoop的一个数据仓库工具,可以将结构化和半结构化的数据文件映射为一张数据库表, 并提供简单的sql查询功能。 注意: (1)Hive本质是将HDFS转换成MapReduce的任务进行运算,底层由HDFS来提供数据存储。 (2)Hive的元数据存储在SQL上 阅读全文
摘要:
1、char_length(str) (1)计算单位:字符 (2)不管汉字还是数字或者是字母都算是一个字符 2、length(str) (1)计算单位:字节 (2)utf8编码:一个汉字三个字节,一个数字或字母一个字节。 (3)gbk编码:一个汉字两个字节,一个数字或字母一个字节。 3、复习 -- 阅读全文