摘要:
http://www.itsource.com.cn/?fromuser=AllenBric 阅读全文
摘要:
` ExecutorService executorService = new ThreadPoolExecutor(6, 6, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue(1024), new ThreadFactoryBuilder() 阅读全文
摘要:
4.0.0 com.first one dream 1.0 SNAPSHOT UTF 8 2.4.0 2.11 2.7.3 6.3.1 1.7.25 2.8.2 3.2.0 2.4.0 1.8 1.8 1.8 3.2 3.2.2 2.4.3 1.0 org.apache.hadoop hadoop 阅读全文
摘要:
文档:Scala.docx 链接:http://note.youdao.com/noteshare?id=a365814ec8972f0cc1881aac50650f41 阅读全文
摘要:
文档:IDEA注释配置(java && scala).note 链接:http://note.youdao.com/noteshare?id=a56e86bc69390da7913eb148d3adbbde 阅读全文
摘要:
``` var data = []; // Parametric curve // for (var t = 0; t Math.min.apply(null,x1) && xzf[k]){ // value_min = zf[k] // } // ... 阅读全文
摘要:
参考: 1. "spark on yarn图形化任务监控利器:History server帮你理解spark的任务执行过程" 2. "spark内存分配原理" 3. "yarn运行原理详解" 4. "task,executor,core等数目的关系" 5. "streaming优化记录" 阅读全文
摘要:
1.spark是什么 快速、通用、可扩展的分布式计算引擎。 2. 弹性分布式数据集RDD RDD(Resilient Distributed Dataset),是Spark中最基本的数据抽象结构,表示一个不可变、可分区、里面元素可以并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度 阅读全文
摘要:
windows本地读取hive,需要在resource里面将集群中的hive site.xml下载下来。 代码部分如下: 阅读全文