摘要：
import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount extends App { private val conf = new SparkConf() co 阅读全文
摘要：
总结 map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作，映射为另外一个rdd。 flatMap的操作是将函数应用于rdd之中的每一个元素，将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。 1. map会对每一条输入进行指定的操作，然后为每一条输入返回一个对象。 2. fla 阅读全文
摘要：
栈 存放java在函数中定义的基本类型的变量的引用和数据，以及对象的引用都放在栈中存储。 堆 主要存放new出来的对象和数组。 方法区 存储已经被虚拟机加载的类信息、常量、静态变量，即编译器编译后的代码等数据。 静态变量、常量在方法区；所有方法，包括静态和非静态的，也在方法区。 常量池 静态常量池 阅读全文
摘要：
import static java.lang.Math.*; public class test { public static void main(String[] args) { // 向上取整 System.out.println(ceil(-1.5)); // -1.0 System.ou 阅读全文
摘要：
虚拟机环境做准备 问题1： 出现了问题，无法将虚拟机和xshell连接。 在虚拟机输入ip addr后，无法得到当前虚拟机的主机号。 解决方案： 输入vi /etc/sysconfig/network-scripts/ifcfg-ens33 只需要把ONBOOT=no改为ONBOOT=yes 再输入 阅读全文
摘要：
1.Zookeeper的理解？ Zookeeper是一个开源的分布式协调服务框架，主要负责存储和管理数据，并且接受观察者的注册，一旦关注数据发生变化，zookeeper将通知在其数据注册的观察者。 2. zookeeper特点？ 1)zookeeper集群中是由一个领导者，多个跟随着组成 2)集群中 阅读全文
摘要：
分区容错性 将连续的数据分散的存储到不同的磁盘上，是否可以对数据进行分区。 (对应的是数据的备份) 可用性 每一个操作总是能够在一定时间内返回结果 (一定时间：指系统结果必须在给定时间内返回) (返回结果：指系统返回操作成功或失败的结果) 一致性 系统在执行过某项操作后仍然处于一致的状态 推导 1. 阅读全文
摘要：
lead LEAD(col, offset, default) col - 指你要操作的那一列 offset - 偏移几行，如果是1就是下1行，以此类推 default - 如果下一行不存在，用什么值填充 lag LAG(col, offset, default) col - 指你要操作的那一列 o 阅读全文
摘要：
1. 什么是hive? hive是基于Hadoop的一个数据仓库工具，可以将结构化和半结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能。 注意： (1)Hive本质是将HDFS转换成MapReduce的任务进行运算，底层由HDFS来提供数据存储。 (2)Hive的元数据存储在SQL上 阅读全文
摘要：
1、char_length(str) （1）计算单位：字符 （2）不管汉字还是数字或者是字母都算是一个字符 2、length(str) （1）计算单位：字节 （2）utf8编码：一个汉字三个字节，一个数字或字母一个字节。 （3）gbk编码：一个汉字两个字节，一个数字或字母一个字节。 3、复习 -- 阅读全文