上一页 1 2 3 4 5 6 ··· 11 下一页

2018年11月5日

spark性能调优--jvm调优(转)

摘要: 一.问题切入 调用spark 程序的时候,在获取数据库连接的时候总是报 内存溢出 错误 (在ideal上运行的时候设置jvm参数 -Xms512m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024M,不会报错) 二.jvm参数 和 saprk 参数 和 阅读全文

posted @ 2018-11-05 11:32 moonlight.ml 阅读(1251) 评论(0) 推荐(0) 编辑

Ubuntu16下查看CPU、内存和磁盘相关信息

摘要: 1.内存 2.CPU 3.磁盘大小 阅读全文

posted @ 2018-11-05 11:28 moonlight.ml 阅读(239) 评论(0) 推荐(0) 编辑

2018年11月3日

JVM内存区域参数配置

摘要: 转自:https://www.jianshu.com/p/5946c0a414b5 需要提前了解的知识点: JVM内存模型 JVM垃圾回收算法 下图是JVM内存区域划分的逻辑图 JVM内存区域逻辑图 从图中我们大概了解JVM相关的内存区域。 JVM内存包括区域 Heap(堆区) New Genera 阅读全文

posted @ 2018-11-03 21:27 moonlight.ml 阅读(252) 评论(0) 推荐(0) 编辑

spark调优-内存和GC调优(官网)

只有注册用户登录后才能阅读该文。 阅读全文

posted @ 2018-11-03 20:55 moonlight.ml 阅读(4) 评论(0) 推荐(0) 编辑

spark调优-硬件配置条件

只有注册用户登录后才能阅读该文。 阅读全文

posted @ 2018-11-03 19:15 moonlight.ml 阅读(2) 评论(0) 推荐(0) 编辑

2018年10月30日

spark性能优化-JVM虚拟机垃圾回收调优

摘要: 1 2 3 4 阅读全文

posted @ 2018-10-30 22:53 moonlight.ml 阅读(269) 评论(0) 推荐(0) 编辑

Linux 合并多个txt文件到一个文件

摘要: Linux 或 类Unix 下实现合并多个文件内容到一个文件中 代码如下 阅读全文

posted @ 2018-10-30 12:49 moonlight.ml 阅读(7949) 评论(0) 推荐(0) 编辑

linux下文件的复制、移动与删除

摘要: linux下文件的复制、移动与删除命令为:cp,mv,rm 一、文件复制命令cp 二、文件移动命令mv Linux当前目录所有文件移动到上一级目录 mv * ../ 三、文件删除命令rm 阅读全文

posted @ 2018-10-30 12:38 moonlight.ml 阅读(165) 评论(0) 推荐(0) 编辑

2018年10月29日

031_spark架构原理

摘要: spark核心组件 driver master worker executor task(只有task是线程) 核心组件的原理图解 阅读全文

posted @ 2018-10-29 11:02 moonlight.ml 阅读(165) 评论(0) 推荐(0) 编辑

Scala基础篇-05求值策略

摘要: Scala的求值策略有2种: call by value call by name 如何区分? 例子: 阅读全文

posted @ 2018-10-29 10:08 moonlight.ml 阅读(102) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 ··· 11 下一页

导航