摘要: map和reduce是hadoop的核心功能,hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算,从这个观点来看,如果将map和reduce的数量设置为1,那么用户的任务就没有并行执行,但是map和reduce的数量也不能过多,数量过多虽然可以提高任务并行度,但是太多的 阅读全文
posted @ 2016-08-01 15:51 Eamon13 阅读(697) 评论(0) 推荐(0) 编辑
摘要: Linux 文件系统设置 文件句柄数 ulimit -n 查看 echo "* - nofile 65536" >> /etc/security/limits.confecho "* soft noproc 65536" >> /etc/security/limits.confecho "* har 阅读全文
posted @ 2016-08-01 14:20 Eamon13 阅读(713) 评论(0) 推荐(0) 编辑
摘要: CentOS 7 rsync 1)软件简介 Rsync 是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 本来是用以取代rcp 的一个工具,它当前由 Rsync.samba.org 维护。Rsync 使用所谓的“Rsync 演算法”来使本地和远程两个主机之间的文件 阅读全文
posted @ 2016-08-01 10:42 Eamon13 阅读(3894) 评论(2) 推荐(0) 编辑