2021年5月26日
rdd算子
摘要： 1.RDD是一个基本的抽象，操作RDD就像操作一个本地集合一样，降低了编程的复杂度 RDD的算子分为两类，一类是Transformation（lazy），一类是Action（触发任务执行）RDD不存真正要计算的数据，而是记录了RDD的转换关系（调用了什么方法，传入什么函数） 创建RDD有哪些中方式呢 阅读全文
posted @ 2021-05-26 15:46 每天都要进步啊 阅读(325) 评论(0) 推荐(0) 编辑
Spark执行任务流程简介
摘要： 提交一个spark程序到spark集群，会产生哪些进程？ SparkSubmint（Driver）提交任务Executor 执行真正的计算任务的 提交任务可以指定多个master地址，目的是为了提交任务高可用 bin/spark-submit --master spark://node-4:7077 阅读全文
posted @ 2021-05-26 14:05 每天都要进步啊 阅读(315) 评论(0) 推荐(0) 编辑
kafka的consumer.poll（Long）和consumer.poll(Duration.ofMillis(2000)) 的区别
摘要： 项目中用到了kafka，没用Streaming，只是用了个简单的kafka连接 最初的使用的是consumer.poll(10) 这样拉取得数据， 发现这样得拉取数据得方式当连接不上kafka时或者连接不正确，或者broker失败，总而言之就是连接不上kafka，会使得程序一直在运行停不下来. 解决 阅读全文
posted @ 2021-05-26 09:36 每天都要进步啊 阅读(6550) 评论(0) 推荐(2) 编辑
2021年5月25日
大数据相关概念
摘要： 大数据： 概念：bigdata 数据： 数据就是数值，也就是我们通过观察、实验或计算得出的结果。数据有很多种，最简单的就是数字。数据也可以是文字、图像、声音等。数据可以用于科学研究、设计、查证等。 大数据：海量数据 特点： 4v特点： 1.VOLUME数据量大 GB TB 1 Byte =8 bit 阅读全文
posted @ 2021-05-25 13:54 每天都要进步啊 阅读(580) 评论(0) 推荐(0) 编辑
2021年5月21日
Hive 如何使用mapjoin
摘要： Hive 如何使用mapjoin 转载：原文链接 https://www.jianshu.com/p/b52466e93226 https://www.cnblogs.com/1130136248wlxk/articles/5692594.html hive mapjoin使用 今天遇到一个hive 阅读全文
posted @ 2021-05-21 20:07 每天都要进步啊 阅读(1474) 评论(1) 推荐(0) 编辑
Container killed by YARN for exceeding memory limits.Spark性能调优
摘要： Spark性能调优 Container killed by YARN for exceeding memory limits. 碰到这个问题，是个正常人都觉得要加大内存或者调节excutor等参数配置。这个问题已解决。调参数作用微乎其微，而且背后也是有机制的，不是你调了就能看到效果，几乎没什么卵用。 阅读全文
posted @ 2021-05-21 16:28 每天都要进步啊 阅读(1068) 评论(0) 推荐(0) 编辑
2021年5月20日
关于Oracle中in和exists的区别
摘要： 关于Oracle中in和exists的区别 1、关于在 Oracle8i 时代中in和exists的区别 这里有条SQL语句：select * from A where id in(select id from B) 以上查询使用了in语句,in()只执行一次,它查出B表中的所有id字段并缓存起来. 阅读全文
posted @ 2021-05-20 16:01 每天都要进步啊 阅读(418) 评论(0) 推荐(0) 编辑
2021年5月19日
java集合梳理
摘要： Collection 常用功能 Collection是所有单列集合的父接口，因此在Collection中定义了单列集合(List和Set)通用的一些方法，这些方法可用于操作所有的单列集合。方法如下： public boolean add(E e)： 把给定的对象添加到当前集合中 。 public v 阅读全文
posted @ 2021-05-19 10:10 每天都要进步啊 阅读(36) 评论(0) 推荐(0) 编辑
final关键字和权限修饰符内部类了解
摘要： final 关键字 常见四种用法 1 可以用来修饰一个类 （太监类） 2 可以修饰一个方法 （该方法不能被覆盖重写） 3 可以修饰局部变量 （地址值不能改变，但是地址的内容属性可以改变） 4 可以修饰成员遍量 （默认值没了，必须手动赋值。要么直接赋值，要么构造方法赋值） final关键字--修饰类 阅读全文
posted @ 2021-05-19 09:18 每天都要进步啊 阅读(69) 评论(0) 推荐(0) 编辑
2021年5月17日
java的封装继承多态理解
摘要： java的面向对象：找谁（方法）干什么事 java三大特性 ：封装、继承、多态 一、封装 作用就是方便使用，面向对象 封装的的操作--private 关键字 封装优化--this关键字 this的作用。主要事重名的时候，起到区分作用。方法被谁调用谁就是this 二、继承 java是单继承的，继承主要 阅读全文
posted @ 2021-05-17 16:03 每天都要进步啊 阅读(2384) 评论(0) 推荐(0) 编辑