2019年12月12日
Spark配置Job History Server
摘要： PS：在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是 说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark 阅读全文
posted @ 2019-12-12 14:22 Y歪 阅读(969) 评论(0) 推荐(0) 编辑
IDEA中环境配置和使用
摘要： pom.xml文件配置 1 <!-- 声明公有的属性 --> 2 <properties> 3 <maven.compiler.source>1.8</maven.compiler.source> 4 <maven.compiler.target>1.8</maven.compiler.target 阅读全文
posted @ 2019-12-12 11:51 Y歪 阅读(1630) 评论(0) 推荐(0) 编辑
Spark Shell及Spark2.2和Spark1.6的对比
摘要： 2019-12-12 09:37:43 Spark Shell Spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,可以在命令下编写Scala程序执行Spark Spark-shell多用于测试 Spark-Shell启动有两种模式 local模式和Cluster模 阅读全文
posted @ 2019-12-12 09:54 Y歪 阅读(888) 评论(0) 推荐(0) 编辑
Spark简介及安装
摘要： 2019-12-11 Spark简介 官网：http://spark.apache.org/ Spark是一种快速、通用、可扩展 的 大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是 阅读全文
posted @ 2019-12-12 09:24 Y歪 阅读(374) 评论(0) 推荐(0) 编辑
2019年12月11日
spark框架体系及spark和MR的区别
摘要： 2019-12-11 Spark的框架体系 三个核心组件：SparkCore SparkSQL SparkStreaming Spark有三种部署模式：Stanalone Yarn Messos Spark和MapReduce之间区别 ***** 1.Spark把运算中数据放到内存中，迭代计算效率会 阅读全文
posted @ 2019-12-11 20:11 Y歪 阅读(1282) 评论(0) 推荐(0) 编辑
2019年12月9日
HiveSQL中date_sub的用法
摘要： 语法： VARCHAR DATE_SUB(VARCHAR startdate, INT days) VARCHAR DATE_SUB(TIMESTAMP time, INT days) 参数： 参数 数据类型 startdate VARCHAR time TIMESTAMP days INT 定义： 阅读全文
posted @ 2019-12-09 21:43 Y歪 阅读(21335) 评论(0) 推荐(0) 编辑
2019年12月5日
Scala中集合和Java中集合互相转换
摘要： Scala中集合和Java中集合互相转换 package Scala_03 import java.util import scala.collection.mutable /** * 集合互相转换 */ object ScalaToJava { def main(args: Array[Strin 阅读全文
posted @ 2019-12-05 20:02 Y歪 阅读(1854) 评论(0) 推荐(0) 编辑
2019年12月4日
SCALA下划线的使用总结
摘要： 1.方法转换为函数 例如： def m1(x:Int,y:Int)=x*y val f1=m1 _ 2.集合中的每一个元素 例如： val list=List(1,2,3,4) val list1=list.map(_ * 10) 3.从元组中获取元素 例如： val t=("scala",3.14 阅读全文
posted @ 2019-12-04 09:26 Y歪 阅读(768) 评论(0) 推荐(0) 编辑
2019年11月27日
谷歌浏览器出现黑屏解决办法
摘要： 不知道碰到哪里了，把谷歌搞成这样。 解决办法： 打开浏览器，找到设置 —— 高级 —— 使用硬件加速模式(如果可用) —— 重新启动(关闭) 阅读全文
posted @ 2019-11-27 11:35 Y歪 阅读(2000) 评论(0) 推荐(0) 编辑
2019年11月20日
hive的优化整理
摘要： 1）MapJoin如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理。 2）行列过滤列处理 阅读全文
posted @ 2019-11-20 20:49 Y歪 阅读(167) 评论(0) 推荐(0) 编辑