摘要:
例如:id name value1 a pp2 a pp3 b iii4 b pp5 b pp6 c pp7 c pp8 c iiiid是主键要求得到这样的结果id name value1 a pp3 b iii4 b pp6 c pp8 c iii方法1delete YourTablewhere ... 阅读全文
摘要:
在MapReduce执行过程中,特别是Shuffle阶段,尽量使用内存缓冲区存储数据,减少磁盘溢写次数;同时在作业执行过程中增加并行度,都能够显著提高系统性能,这也是配置优化的一个重要依据。下面分别介绍I/O属性和MapReduce属性这两个类的部分属性,并指明其优化方向。1 I/O属性类的优化I/... 阅读全文
摘要:
mapred.tasktracker.map.tasks.maximum官方解释:The maximum number of map tasks that will be runsimultaneously by a task tracker.我的理解:一个tasktracker最多可以同时运行的m... 阅读全文
摘要:
转自:http://pangge.blog.51cto.com/6013757/1319304MySQL日志:主要包含:错误日志、查询日志、慢查询日志、事务日志、二进制日志;日志是mysql数据库的重要组成部分。日志文件中记录着mysql数据库运行期间发生的变化;也就是说用来记录mysql数据库的客... 阅读全文
摘要:
c3p0的配置方式分为三种,分别是1.setters一个个地设置各个配置项2.类路径下提供一个c3p0.properties文件3.类路径下提供一个c3p0-config.xml文件1.setters一个个地设置各个配置项这种方式最繁琐,形式一般是这样:Properties props = new ... 阅读全文
摘要:
Ganglia监控Hadoop集群的安装部署一、 安装环境Ubuntuserver 12.04安装gmetad的机器:192.168.52.105安装gmond的机 器:192.168.52.31,192.168.52.32,192.168.52.33,192.168.52.34,192.168.5... 阅读全文
摘要:
Mapreduce为了确保每个reducer的输入都按键排序。系统执行排序的过程-----将map的输出作为输入传给reducer 称为shuffle。学习shuffle是如何工作的有助于我们理解mapreduce工作机制。shuffle属于hadoop不断被优化和改进的代码库的一部分。从许多方面看... 阅读全文
摘要:
innodb_flush_method这个参数控制着innodb数据文件及redo log的打开、刷写模式,对于这个参数,文档上是这样描述的:有三个值:fdatasync(默认),O_DSYNC,O_DIRECT默认是fdatasync,调用fsync()去刷数据文件与redo log的buffer... 阅读全文
摘要:
安装:wgethttp://innotop.googlecode.com/files/innotop-1.8.0.tar.gz# perl Makefile.PL# make install解决Can't locate Term/ReadKey.pm in @INC 错误方式如下# wgethttp... 阅读全文
摘要:
参数调优内容:1. 内存利用方面2. 日值控制方面3. 文件IO分配,空间占用方面4. 其它相关参数1.内存利用方面:首先介绍一个Innodb最重要的参数:innodb_buffer_pool_size这个参数和MyISAM的key_buffer_size有相似之处,但也是有差别的。这个参数主要缓存... 阅读全文