摘要: 探秘Java虚拟机——内存管理与垃圾回收本文主要是基于Sun JDK 1.6 Garbage Collector(作者:毕玄)的整理与总结,原文请读者在网上搜索。1、Java虚拟机运行时的数据区2、常用的内存区域调节参数-Xms:初始堆大小,默认为物理内存的1/64(输出到日志文件来查看GC的状况;... 阅读全文
posted @ 2015-01-18 20:44 wrencai 阅读(331) 评论(0) 推荐(0) 编辑
摘要: 推荐-java内存模型:http://blog.csdn.net/u014307117/article/details/47746883转载于:http://www.buildapp.net/java/show.asp?id=9438内存划分1。JAVA内存主要划分为方法栈、方法区、堆。2。方法栈上... 阅读全文
posted @ 2015-01-18 20:41 wrencai 阅读(128) 评论(0) 推荐(0) 编辑
摘要: 转载于:http://blog.csdn.net/taijianyu/article/details/6554213Java性能剖析]SunJVM内存管理和垃圾回收 内存管理和垃圾回收是JVM非常关键的点,对Java性能的剖析而言,了解内存管理和垃圾回收的基本策略非常重要。本篇对SunJVM6.0的... 阅读全文
posted @ 2015-01-18 20:24 wrencai 阅读(175) 评论(0) 推荐(0) 编辑
摘要: spark中有partition的概念(和slice是同一个概念,在spark1.2中官网已经做出了说明),一般每个partition对应一个task。在我的测试过程中,如果没有设置spark.default.parallelism参数,spark计算出来的partition非常巨大,与我的core... 阅读全文
posted @ 2015-01-18 17:05 wrencai 阅读(23041) 评论(1) 推荐(0) 编辑
摘要: 问题描述:在使用spark过程中,有时会因为数据增大,而出现下面两种错误:java.lang.OutOfMemoryError: Java heap spacejava.lang.OutOfMemoryError:GC overhead limit exceeded这两种错误之前我一直认为是exec... 阅读全文
posted @ 2015-01-18 16:53 wrencai 阅读(18839) 评论(0) 推荐(0) 编辑
摘要: 转载引用自:http://www.cnblogs.com/tovin/p/3833985.html最近在使用spark开发过程中发现当数据量很大时,如果cache数据将消耗很多的内存。为了减少内存的消耗,测试了一下Kryo serialization的使用代码包含三个类,KryoTest、MyReg... 阅读全文
posted @ 2015-01-17 11:51 wrencai 阅读(3410) 评论(0) 推荐(0) 编辑
摘要: 参考:http://blog.itpub.net/17203031/viewspace-765810一、Jstatd RMI远程监控方法VisualVM在监控本地JVM的时候是很方便的。只要应用程序运行起来,我们就可以从VisualVM里面监控出来。远程服务器上的JVM监控就需要一些额外的配置了。目... 阅读全文
posted @ 2015-01-17 11:46 wrencai 阅读(2243) 评论(0) 推荐(0) 编辑
摘要: 解决方法,关闭hadoop安全模式:hadoop dfsadmin -safemode leave 阅读全文
posted @ 2015-01-08 09:09 wrencai 阅读(2932) 评论(1) 推荐(0) 编辑
摘要: 转载自:http://www.cnblogs.com/hoojo/p/oracle_procedure_job_interval.htmlOracle job procedure 存储过程定时任务oracle job有定时执行的功能,可以在指定的时间点或每天的某个时间点自行执行任务。一、查询系统中的... 阅读全文
posted @ 2014-12-15 13:33 wrencai 阅读(286) 评论(0) 推荐(0) 编辑
摘要: 物化视图概述http://blog.csdn.net/tianlesoftware/article/details/4713553http://blog.csdn.net/hdhai9451/article/details/3875172物化视图fast refresh 相关之物化视图日志https... 阅读全文
posted @ 2014-12-13 13:35 wrencai 阅读(176) 评论(0) 推荐(0) 编辑