摘要: http://www.itsource.com.cn/?fromuser=AllenBric 阅读全文
posted @ 2017-09-25 12:54 开水白菜 阅读(367) 评论(0) 推荐(0) 编辑
摘要: ` ExecutorService executorService = new ThreadPoolExecutor(6, 6, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue(1024), new ThreadFactoryBuilder() 阅读全文
posted @ 2022-07-05 14:41 开水白菜 阅读(46) 评论(0) 推荐(0) 编辑
摘要: 4.0.0 com.first one dream 1.0 SNAPSHOT UTF 8 2.4.0 2.11 2.7.3 6.3.1 1.7.25 2.8.2 3.2.0 2.4.0 1.8 1.8 1.8 3.2 3.2.2 2.4.3 1.0 org.apache.hadoop hadoop 阅读全文
posted @ 2020-03-06 16:18 开水白菜 阅读(488) 评论(0) 推荐(0) 编辑
摘要: 文档:Scala.docx 链接:http://note.youdao.com/noteshare?id=a365814ec8972f0cc1881aac50650f41 阅读全文
posted @ 2019-12-26 17:21 开水白菜 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 文档:IDEA注释配置(java && scala).note 链接:http://note.youdao.com/noteshare?id=a56e86bc69390da7913eb148d3adbbde 阅读全文
posted @ 2019-12-26 14:03 开水白菜 阅读(685) 评论(0) 推荐(0) 编辑
摘要: ``` var data = []; // Parametric curve // for (var t = 0; t Math.min.apply(null,x1) && xzf[k]){ // value_min = zf[k] // } // ... 阅读全文
posted @ 2018-08-07 14:28 开水白菜 阅读(404) 评论(0) 推荐(0) 编辑
摘要: 参考: 1. "spark on yarn图形化任务监控利器:History server帮你理解spark的任务执行过程" 2. "spark内存分配原理" 3. "yarn运行原理详解" 4. "task,executor,core等数目的关系" 5. "streaming优化记录" 阅读全文
posted @ 2018-01-03 10:18 开水白菜 阅读(4099) 评论(0) 推荐(0) 编辑
摘要: 1.spark是什么 快速、通用、可扩展的分布式计算引擎。 2. 弹性分布式数据集RDD RDD(Resilient Distributed Dataset),是Spark中最基本的数据抽象结构,表示一个不可变、可分区、里面元素可以并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度 阅读全文
posted @ 2017-12-28 15:00 开水白菜 阅读(311) 评论(0) 推荐(0) 编辑
摘要: windows本地读取hive,需要在resource里面将集群中的hive site.xml下载下来。 代码部分如下: 阅读全文
posted @ 2017-12-22 14:15 开水白菜 阅读(588) 评论(0) 推荐(0) 编辑
摘要: "Spark原理小总结" 阅读全文
posted @ 2017-12-21 09:30 开水白菜 阅读(158) 评论(0) 推荐(0) 编辑
摘要: ``` import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; import org.apache.commons.la 阅读全文
posted @ 2017-12-21 09:25 开水白菜 阅读(2105) 评论(0) 推荐(1) 编辑