2012年11月5日

HBase性能优化方法总结

摘要：原文链接：http://blog.linezing.com/2012/03/hbase-performance-optimization 本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学... 阅读全文

posted @ 2012-11-05 14:03 tudou@NorthWind 阅读(241) 评论(0) 推荐(0)

HBase性能调优

摘要：原文链接：http://kenwublog.com/hbase-performance-tuning 因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化 z... 阅读全文

posted @ 2012-11-05 14:01 tudou@NorthWind 阅读(163) 评论(0) 推荐(0)

Linux下OOM Killer机制详解

摘要： Linux下面有个特性叫OOM killer（Out Of Memory killer），这个东西会在系统内存耗尽的情况下跳出来，选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过（人在江湖漂，哪有不挨刀啊）。典型的情况是：某天机器突然登不上了，能pi... 阅读全文

posted @ 2012-11-05 11:10 tudou@NorthWind 阅读(1511) 评论(0) 推荐(0)

Linux中的线程（NPTL）与内存泄漏

摘要：线程不错，随手写几行，程序就并行了、多核了。在写服务器的时候，很多时候并发不高或者很小的情况下，用每个连接对应一个线程的方法可以最方便的处理并发。但是，小心，pthread_create的时候如果没有加上detach属性，或者在线程中没有自己detach，而又没有其他线程来join这个线程的时候，这... 阅读全文

posted @ 2012-11-05 11:09 tudou@NorthWind 阅读(2142) 评论(0) 推荐(0)

2012年10月29日

测试xtrabackup的增量备份与恢复

摘要： XtraBackup提供了增量备份和恢复的功能，不过，其增量的设计方案与RMAN这类备份工具可是完全不同的哟，接下来，我们以实例来说明这一点。下列测试基于最新的xtrabackup1.6版本。关于xtrabackup1.6的编译安装请参考：http://space.itpub.net/760775... 阅读全文

posted @ 2012-10-29 21:33 tudou@NorthWind 阅读(500) 评论(1) 推荐(0)

Linux 平台如何查看某个进程的线程数?

摘要：三种方法： 1。使用top命令，具体用法是 top -H 加上这个选项，top的每一行就不是显示一个进程，而是一个线程。 2。使用ps命令，具体用法是 ps -xH 这样可以查看所有存在的线程，也可以使用grep作进一步的过滤。 3。使用ps命令，具体用法是 ps -mq PID 这样可... 阅读全文

posted @ 2012-10-29 16:34 tudou@NorthWind 阅读(472) 评论(0) 推荐(0)

2012年10月26日

使用xtrabackup做数据库的增量备份

摘要： xtrabackup实现原理与innodb的recovery原理类似。主要特点：1. 在线热备份。可以备份innodb和myisam。innodb主要应用recovery原理。myisam直接拷贝文件。2. 支持流备份。可以备份到disk，tape和reomot host。–stream=tar ... 阅读全文

posted @ 2012-10-26 22:21 tudou@NorthWind 阅读(241) 评论(0) 推荐(0)

2012年10月24日

haproxy做tcp 层的负载均衡

摘要：首先下载haproxy包： wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.13.tar.gz 安装： tar zxvf haproxy-1.4.13.tar.gz make TARGET=linux26 PREFIX=/usr/loc... 阅读全文

posted @ 2012-10-24 13:19 tudou@NorthWind 阅读(380) 评论(0) 推荐(0)

2012年10月17日

FIO测试IOPS

摘要： FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证，支持13种不同的I/O引擎，包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。fio 官网地址：htt... 阅读全文

posted @ 2012-10-17 16:34 tudou@NorthWind 阅读(1348) 评论(0) 推荐(0)

2012年10月11日

linux io 算法

摘要：在Linux 2.6中,有四种关于IO的调度算法,下面综合小结一下:1) NOOPNOOP算法的全写为No Operation。该算法实现了最最简单的FIFO队列，所有IO请求大致按照先来后到的顺序进行操作。之所以说“大致”，原因是NOOP在FIFO的基础上还做了相邻IO请求的合并，并不是完完全全... 阅读全文

posted @ 2012-10-11 15:09 tudou@NorthWind 阅读(411) 评论(0) 推荐(0)