摘要: 一、性能优化的类型 1、使用更高效的算法 2、减少锁竞争 3、为算法生成更有效率的代码 二、CPU的使用 用BufferedOutputStream 替代直接的 FileOutputStream 利用缓冲、NIO改善磁盘与网络的IO瓶颈。 三、锁竞争 利用ConcurrentHashMap 替代 H 阅读全文
posted @ 2014-12-29 18:56 lihui1625 阅读(80) 评论(0) 推荐(0) 编辑
摘要: 一、性能优化的类型 1、使用更高效的算法 2、减少锁竞争 3、为算法生成更有效率的代码 二、CPU的使用 用BufferedOutputStream 替代直接的 FileOutputStream 利用缓冲、NIO改善磁盘与网络的IO瓶颈。 三、锁竞争 利用ConcurrentHashMap 替代 H 阅读全文
posted @ 2014-12-29 18:56 lihui1625 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 性能分析很少在生产环境中进行,通常在质量评估、测试或者开发环境中进行,作为监控活动发现性能问题时的后续活动。 1、Oracle Solaris Studio Performance Analyzer 只能安装在Solaris/Linux 平台上。 2、 NetBeans Profiler 阅读全文
posted @ 2014-12-29 18:49 lihui1625 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 性能分析很少在生产环境中进行,通常在质量评估、测试或者开发环境中进行,作为监控活动发现性能问题时的后续活动。 1、Oracle Solaris Studio Performance Analyzer 只能安装在Solaris/Linux 平台上。 2、 NetBeans Profiler 阅读全文
posted @ 2014-12-29 18:49 lihui1625 阅读(74) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8528317 External Source Input Pattern Description 这种模式不从hdfs加载数据,而是从hadoop以外系统,例如RDB或web service加载。 I 阅读全文
posted @ 2014-12-29 17:54 lihui1625 阅读(104) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8510162 CHAPTER 7.Input and Output Patterns 本章关注一个最经常忽略的问题,来改进MapReduce 的value:自定义输入和输出。我们并不会总使用Mapre 阅读全文
posted @ 2014-12-29 17:41 lihui1625 阅读(133) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8502460 Chain Folding 这是对job 链的一种优化。基本上是一种大体规则:每条记录都会提交给多个mapper,或者给reducer然后给mapper。这种综合处理方法会节省很多读文件 阅读全文
posted @ 2014-12-29 17:34 lihui1625 阅读(137) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8492804 Chapter 6. Meta patterns 这种模式不是解决某个问题的,而是处理模式的关系的。可以理解为“模式的模式”。首先讨论的是job链,把几个模式联合起来解决复杂的,有多个阶 阅读全文
posted @ 2014-12-29 17:26 lihui1625 阅读(114) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8492804 Chapter 6. Meta patterns 这种模式不是解决某个问题的,而是处理模式的关系的。可以理解为“模式的模式”。首先讨论的是job链,把几个模式联合起来解决复杂的,有多个阶 阅读全文
posted @ 2014-12-29 17:26 lihui1625 阅读(86) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8489248 Replicated Join Pattern Description 复制join是一种特殊的join,用于一个大数据和许多小数据集map端执行的情况。 Intent 这种模式能够消除 阅读全文
posted @ 2014-12-29 17:20 lihui1625 阅读(99) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8489248 Replicated Join Pattern Description 复制join是一种特殊的join,用于一个大数据和许多小数据集map端执行的情况。 Intent 这种模式能够消除 阅读全文
posted @ 2014-12-29 17:20 lihui1625 阅读(135) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8485273 Chapter 5. Join Patterns 把数据保存成一个巨大的数据集不是很常见。例如,用户信息数据频繁更新,所以要保存到关系数据库中。于此同时,web日志以恒定的数据流量增加, 阅读全文
posted @ 2014-12-29 17:10 lihui1625 阅读(108) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8485273 Chapter 5. Join Patterns 把数据保存成一个巨大的数据集不是很常见。例如,用户信息数据频繁更新,所以要保存到关系数据库中。于此同时,web日志以恒定的数据流量增加, 阅读全文
posted @ 2014-12-29 17:10 lihui1625 阅读(128) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8481075 Binning Pattern Description 分箱模式,跟前面的类似,分类记录且不考虑记录的顺序。 Intent 归档数据集中的每条记录到一个或多个类别。 Motivation 阅读全文
posted @ 2014-12-29 17:01 lihui1625 阅读(191) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8481075 Binning Pattern Description 分箱模式,跟前面的类似,分类记录且不考虑记录的顺序。 Intent 归档数据集中的每条记录到一个或多个类别。 Motivation 阅读全文
posted @ 2014-12-29 17:01 lihui1625 阅读(129) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8476368 Chapter 4. Data Organization Patterns 与前面章节的过滤器相比,本章是关于数据重组。个别记录的价值通常靠分区,分片,排序成倍增加。特别是在分布式系统中 阅读全文
posted @ 2014-12-29 16:53 lihui1625 阅读(133) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8476368 Chapter 4. Data Organization Patterns 与前面章节的过滤器相比,本章是关于数据重组。个别记录的价值通常靠分区,分片,排序成倍增加。特别是在分布式系统中 阅读全文
posted @ 2014-12-29 16:53 lihui1625 阅读(143) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8469448 Top Ten Pattern Description Top ten模式跟前面的有很大的不同,跟输入数据大小无关,最终得到的记录数量是确定的。而在通用filtering中,输出的规模取 阅读全文
posted @ 2014-12-29 16:42 lihui1625 阅读(122) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8469448 Top Ten Pattern Description Top ten模式跟前面的有很大的不同,跟输入数据大小无关,最终得到的记录数量是确定的。而在通用filtering中,输出的规模取 阅读全文
posted @ 2014-12-29 16:42 lihui1625 阅读(125) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/cuirong1986/article/details/8465630 Chapter 3. Filtering Patterns 本章的模式有一个共同点:不会改变原来的记录。这种模式是找到一个数据的子集,或者更小,例如取前十条,或者很大,例如结果去重。这种 阅读全文
posted @ 2014-12-29 16:34 lihui1625 阅读(201) 评论(0) 推荐(0) 编辑