摘要:
废话少说 2013,北大,1,黄渤,语文,97 2013,北大,1,徐峥,语文,52 2013,北大,1,刘德华,语文,85 2012,清华,0,马云,英语,61 2015,北理工,3,李彦宏,物理,81 2016,北科,4,马化腾,化学,92 2014,北航,2,刘强东,数学,70 2012,清华 阅读全文
摘要:
package com.imust; class Node { public int value; public Node next; public Node(int data) { this.value = data; } } public class ReverseList { public s 阅读全文
摘要:
package sort; public class QuickSort { public static void quickSort(int[] arr,int low,int high){ int i,j,temp,t; if(low>high){ return; } i=low; j=high 阅读全文
摘要:
一,什么是RDD? 官方定义 :RDD是弹性分布式数据集。 1. 不可变的:类似于scala中的不可变集合,对集合进行转换操作的时候,产生新的集合RDD。 2. 分区的:每个RDD集合有多个分区组成,分区就是很多部分。 3. 并行操作:对RDD集合中的数据操作时,可以同时对所有的分区并行操作 五 阅读全文
摘要:
一,Spark专业术语 1,Application 指的是用户编写的Spark应用程序、代码,包含了Driver功能代码和分布在集群中多个节点运行的Executor代码。 Spark应用程序,由一个或者多个job组成(因为代码中可能会调用多次Action)每个job就是一个RDD执行一个Acti 阅读全文
摘要:
一,Flink介绍 1,Flink概述 分布式的 计算引擎 支持 批处理 ,即静态的数据集,历史的数据集 支持 流处理 ,即实时的处理一些实时数据流 支持 基于事件 的应用 官网介绍:Stateful Computation over Data Streams,即 数据流上的有状态的计算 Dat 阅读全文
摘要:
一, Spark概述 spark框架地址 1,官方定义 Spark框架,类似于MapReduce框架,针对大规模数据分析框架。 2,大数据分析类型 1. 离线处理:处理分析的数据是静态不变的,类似MapReduce和Hive框架等 2. 交互式分析:即席查询,类似于impala 3. 实时分析: 阅读全文
摘要:
1. 数据可视化 创建maven的web项目:手动创建webapp 注意:pom.xml中,加入package标签为war 引入pom.xml依赖,jar包依赖和插件依赖 引入配置文件:ssm配置和web.xml 引入静态资源:页面和js等内容 修改配置文件:db.properties等配置文件 创 阅读全文
摘要:
1. 样例类 样例类是一种特殊的类,它可以用来快速定义一个保存数据的类,类似于java中的pojo类。 如果要实现成员变量可以被修改需要添加var 默认是val,可以省略 object Demo01 { //变量的默认修饰符不写就是:val case class Person(name: Strin 阅读全文
摘要:
1.内部表和外部表的区别? 在导入数据时,外部表并没有把数据移动到自己对应的数据仓库的目录下,也就说外部表中的数据并不是由它自己来管理的! 在删除表的时候,hive将会把属于表的元数据和数据全部删掉,而删除外部表的时候,hive仅仅删除外部表的元数据,数据是不会删除的。 2. hive四种排序方式的 阅读全文