上一页 1 2 3 4 5 6 7 ··· 10 下一页
摘要: window安装 1 下载 http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/ docker toolbox 是一个工具集,它主要包含以下一些内容: 下载完成之后直接点击安装,安装成功后,桌边会出现三个图标,入下图所示 点 阅读全文
posted @ 2019-06-10 14:51 夕阳下的无名草 阅读(1101) 评论(1) 推荐(1) 编辑
摘要: 1 hashMap原理 通过hash函数算法计算出来的值,通过值定位到这个map,然后将value存储到这个map中 2 hashMap 扩容大小 put时大于等于0.75 阅读全文
posted @ 2019-06-01 14:14 夕阳下的无名草 阅读(154) 评论(0) 推荐(0) 编辑
摘要: yarn cluster模式 例行任务一般会采用这种方式运行 指定固定的executor数 作业常用的参数都在其中指定了,后面的运行脚本会省略 动态调整executor数目 yarn client模式 yarn cluster模式 vs yarn client模式 yarn cluster模式:sp 阅读全文
posted @ 2019-05-29 15:51 夕阳下的无名草 阅读(1879) 评论(0) 推荐(0) 编辑
摘要: hashMap原理 hashMap是数组+链表的数据结构 每一个数组元素中都是一个链表 通过记录的关键字key.hashCode()%数组的长度 来决定记录在数组中的存储位置 对于数组的同一个存储位置,后来的元素永远放在链表的表头 HashMap基于hashing原理,我们通过put()和get() 阅读全文
posted @ 2019-05-24 17:32 夕阳下的无名草 阅读(221) 评论(0) 推荐(0) 编辑
摘要: Mapreduce的理解?Mapreduce 的执行原理? 1 Spark工作流程简述 Hadoop 中 job 和 task 之间的区别是什么 hive的使用,内外部表的区别,分区作用,UDF和Hive优化 Hive优化:看做mapreduce处理 Hbase的rk设计,Hbase优化 jvm运行 阅读全文
posted @ 2019-05-21 15:18 夕阳下的无名草 阅读(3634) 评论(0) 推荐(0) 编辑
摘要: 1 java并发 1)进程和线程之间有什么不同? 一个进程是一个独立(self contained)的运行环境,它可以被看作一个程序或者一个应用。而线程是在进程中执行的一个任务。Java运行环境是一个包含了不同的类和程序的单一进程。线程可以被称为轻量级进程。线程需要较少的资源来创建和驻留在进程中,并 阅读全文
posted @ 2019-05-15 15:58 夕阳下的无名草 阅读(232) 评论(0) 推荐(0) 编辑
摘要: Java通过Executors提供四种线程池,分别为:newCachedThreadPool创建一个可缓存线程池,如果线程池长度超过处理需要,可灵活回收空闲线程,若无可回收,则新建线程。newFixedThreadPool 创建一个定长线程池,可控制线程最大并发数,超出的线程会在队列中等待。newS 阅读全文
posted @ 2019-03-20 09:45 夕阳下的无名草 阅读(277) 评论(0) 推荐(0) 编辑
摘要: 恢复内容开始 Kafka 是一种高吞吐量的分布式发布订阅消息系统,有如下特性: 1) 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 2)高吞吐量 即使是非常普通的硬件Kafka也可以支持每秒数百万 的消息。 3)支持通过Kafka服务器和 阅读全文
posted @ 2019-03-08 20:52 夕阳下的无名草 阅读(190) 评论(0) 推荐(0) 编辑
摘要: 1. 获取当前日期 3. 日期格式转换 123454. 字符转日期 # 2.带时间的日期 5. 获取日期中的年月日 6. 获取时分秒 7. 获取日期对应的季度 8. 日期加减 9. 月份加减 10. 日期差,月份差 11. 计算下一个日子的日期 12. 本月的最后一个日期 阅读全文
posted @ 2018-12-07 14:19 夕阳下的无名草 阅读(3251) 评论(0) 推荐(0) 编辑
摘要: 1 创建RDD 2 单RDD转换 (1) MAP (2) filter (3) distinct (4) randomSplit (5) groupby 3 多个RDD转换运算 并集union intRDD1.union(intRDD2).union(intRDD3).collect() [3, 1 阅读全文
posted @ 2018-09-05 17:26 夕阳下的无名草 阅读(989) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 10 下一页