阿飞飞飞

spark访问mysql、spark访问hive

摘要： spark访问mysql: 导入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.4</version> </dependency> <! 阅读全文

posted @ 2020-10-11 00:04 阿飞飞飞阅读(209) 评论(0) 推荐(0) 编辑

异常"java.sql.SQLException: The server time zone value 'EDT' is unrecognized or represents more than one time zone."的问题解决方案

摘要：异常：java.sql.SQLException: The server time zone value 'EDT' is unrecognized or represents more than one time zone. You must configure either the server 阅读全文

posted @ 2020-10-10 23:40 阿飞飞飞阅读(665) 评论(0) 推荐(0) 编辑

线程通讯三种方式

摘要：关于线程的通讯：有三种方式 1#synchronized实现1a2b3c交替执行 public class Test { static Thread t1=null,t2=null; public static void main(String[] args) { //1a2b3c4d交替执行 fi 阅读全文

posted @ 2020-10-06 18:19 阿飞飞飞阅读(300) 评论(0) 推荐(0) 编辑

数组的增删改查

摘要： public static void main(String[] args) { int[] arr = new int[]{10,20,30,22,15}; System.out.println(Arrays.toString(arr)); // System.out.println(Arrays 阅读全文

posted @ 2020-09-29 23:55 阿飞飞飞阅读(138) 评论(0) 推荐(0) 编辑

RDD——弹性分布式数据集

摘要： RDD是将数据项拆分为多个分区的集合，储存在集群的工作节点上的内存和磁盘上，RDD是用于数据转换的接口，其不存实际数据内容 RDD的特点：弹性：RDD默认存放在内存中，当内存不足时，Spark自动将RDD写入磁盘容错性：根据数据血统，可以自动从节点失败中恢复分区分布式数据集：RDD为只读的分区阅读全文

posted @ 2020-09-22 19:54 阿飞飞飞阅读(321) 评论(0) 推荐(0) 编辑

关于Scala中正则表达式的几种用法

摘要：正则表达式是一种针对于字符串的操作，主要功能有匹配、切割、替换和获取的作用，在Scala中正则也是被频繁使用的方法（regex.r表示为正则表达式） 1、匹配 Scala支持多种正则表达式解析，主要包括下面三种： String.matches()方法正则表达式模式匹配 scala.util.mat 阅读全文

posted @ 2020-09-18 13:06 阿飞飞飞阅读(4973) 评论(0) 推荐(1) 编辑

关于Scala中的match case方法的使用

摘要：在scala中有一个方法 match 类似于java内的 switch，但是其功能却比 switch 强大了不止一点 switch:条件分支 match:模式匹配在java内使用switch若是不加break将会导致穿透，但是match却不需要担心，其用法类似switch，常配合case使用 // 阅读全文

posted @ 2020-09-15 23:34 阿飞飞飞阅读(2793) 评论(0) 推荐(0) 编辑

scala——Array函数大全

摘要：初始化固定长度的数组 // 初始化长度为10的数组 val array = new Array[Int](10) // 初始化创建含有hi与hello的数组 val s = Array("hi","hello") 创建可变的数组（提供ArrayBuilder()方法） val a = new Str 阅读全文

posted @ 2020-09-09 23:50 阿飞飞飞阅读(1089) 评论(0) 推荐(0) 编辑

线程并发的两种方式

摘要：例子：1-100累加，10条线程并发一、Thread 首先定义数组长度为10 并定义一个状态值这里定下每个数组的长度为10，后面开10条线程，最后得出结果 static int[] arr = new int[10]; static int i = 0; 关于数组的两种累加方式 1.步幅为1的累阅读全文

posted @ 2020-09-07 23:26 阿飞飞飞阅读(386) 评论(0) 推荐(0) 编辑

org.apache.hadoop.security.AccessControlException: Permission denied: user=anonymous, access=EXECUTE——beeline 连接 hive 默认权限 anonymous用户权限不够

摘要：问题：beeline连接HIVE一直登录不上原因：hiveserver2增加了权限控制试着在hadoop的配置文件core-site.xml中加入以下配置，重启hadoop <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value> 阅读全文

posted @ 2020-09-03 18:19 阿飞飞飞阅读(907) 评论(0) 推荐(0) 编辑

导航

公告