hadoop多文件输出
摘要：原文链接：http://www.cnblogs.com/zhoujingyu/p/5316070.html 现实环境中，常常遇到一个问题就是想使用多个Reduce，但是迫于setup和cleanup在每一个Reduce中会调用一次，只能设置一个Reduce，无法是实现负载均衡。 问题，如果要在red
阅读全文
posted @
2017-05-21 21:57
lnlvinso
阅读(257)
推荐(0) 编辑
Linux下查看CPU、内存和硬盘信息命令
摘要：一、查看cpu信息 cat /proc/cpuinfo 相同physical id 的记录是属于同一个CPU的，对应于多核的信息。 二、查看内存的信息 cat /proc/meminfo 三、查看硬盘的信息 cat /proc/scsi/scsi 四、查看是否是SSD盘 安装lsscsi工具，运行l
阅读全文
posted @
2017-05-15 22:29
lnlvinso
阅读(1049)
推荐(0) 编辑
SAS SATA SSD基本介绍
摘要：SATA硬盘采用新的设计结构，数据传输快，节省空间，相对于IDE硬盘具有很多优势： 1 .SATA硬盘比IDE硬盘传输速度高。目前SATA可以提供150MB/s的高峰传输速率。今后将达到300 MB/s和600 MB/s。到时我们将得到比IDE硬盘快近10倍的传输速率。 2． 相对于IDE硬盘的PA
阅读全文
posted @
2017-05-14 22:15
lnlvinso
阅读(2705)
推荐(0) 编辑
SSD trim及4k对齐
摘要：trim可以帮助减小SSD的写放大WA问题，删除文件后不仅仅是将文件标记为删除，而是在SSD空闲的时候统一进行删除。 Linux下的trim支持叫discard，修改fstab文件，在挂载参数中加上discard，最好也同时加上noatime，如下 /dev/sda3 / ext4 noatime,
阅读全文
posted @
2017-05-13 23:54
lnlvinso
阅读(450)
推荐(0) 编辑
git stash暂存文件
摘要：git stash 可用来暂存当前正在进行的工作， 比如想pull 最新代码，但又不想提交代码。先git stash暂存，pull之后，用git stash pop或者git stash apply取回暂存的代码继续修改。 git stash --help可以查看git stash的帮助信息。 gi
阅读全文
posted @
2017-05-10 22:07
lnlvinso
阅读(557)
推荐(0) 编辑
Oracle RAC基本概念
摘要：原文链接：http://tech.it168.com/a2012/0814/1384/000001384756_all.shtml 不同的集群产品都有自己的特点，RAC的特点包括如下几点： ·双机并行。RAC是一种并行模式，并不是传统的主备模式。也就是说，RAC集群的所有成员都可以同时接收客户端的请
阅读全文
posted @
2017-05-08 22:04
lnlvinso
阅读(820)
推荐(0) 编辑
ext4 关闭延迟分配
摘要：ext4的延迟分配特性(delalloc)保证文件在磁盘中的连续，提高文件的读写性能，但是却增加了丢数据的概率。 Hadoop和HBase中建议将延迟分配特性关闭。 可以使用下面的方法关闭延迟分配 1. mount -t ext4 -o remount,nodelalloc /${dev} /${m
阅读全文
posted @
2017-05-07 22:25
lnlvinso
阅读(1151)
推荐(0) 编辑
SSD写入放大问题[转]
摘要：原文地址：http://blog.csdn.net/cywosp/article/details/29812433 之前在SSD(Solid State Drive)上设计并实现缓存系统用于存储数据块时遇到了一些问题，比如在磁盘写满后，如果老化掉一些最久未使用的数据块后，继续大量写入新的数据，随着时
阅读全文
posted @
2017-05-03 22:20
lnlvinso
阅读(1178)
推荐(0) 编辑
