摘要： MapReduce作业可以细分为map task和reduce task，而MRAppMaster又将map task和reduce task分为四种状态： 1、pending：刚启动但尚未向resourcemanager发送资源请求； 2、scheduled：已经向resourceManager发 阅读全文

摘要： Spark目前被越来越多的企业使用，和Hadoop一样，Spark也是以作业的形式向集群提交任务，那么在内部实现Spark和Hadoop作业模型都一样吗？答案是不对的。 熟悉Hadoop的人应该都知道，用户先编写好一个程序，我们称为Mapreduce程序，一个Mapreduce程序就是一个Job，而 阅读全文

摘要： 分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。 Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。 Mapper任务的执行过 阅读全文

摘要： 前言：对于二次排序相信大家也是似懂非懂，我也是一样，对其中的很多方法都不理解诶，所有只有暂时放在一边，当你接触到其他的函数，你知道的越多时你对二次排序的理解也就更深入了，同时建议大家对wordcount的流程好好分析一下，要真正的知道每一步都是干什么的。 1.Partitioner分区类的作用是什么 阅读全文

摘要： 背景: 随着你的网站业务量的增长你网站的服务器压力越来越大？需要负载均衡方案！商业的硬件如F5又太贵，你们又是创业型互联公司如何有效节约成本，节省不必要 的浪费？同时实现商业硬件一样的高性能高可用的功能？有什么好的负载均衡可伸张可扩展的方案吗？答案是肯定的！有！我们利用 LVS+Keepalived 阅读全文

摘要： Tomcat集群session同步方案有以下几种方式： 使用tomcat自带的cluster方式，多个tomcat间自动实时复制session信息，配置起来很简单。但这个方案的效率比较低，在大并发下表现并不好。原理：http://zyycaesar.iteye.com/blog/296606 利用n 阅读全文

摘要： 一，安装之前准备1、nginx依赖: gcc openssl-devel pcre-devel zlib-devel 安装依赖：yum install gcc openssl-devel pcre-devel zlib-devel 2、创建用户和用户组。为了方便nginx运行而不影响linux安全( 阅读全文

摘要： echo -n 不换行输出 最终输出 123456 而不是 123 456 echo -e 处理特殊字符 若字符串中出现以下字符，则特别加以处理，而不会将它当成一般文字输出： \a 发出警告声； \b 删除前一个字符； \c 最后不加上换行符号； \f 换行但光标仍旧停留在原来的位置； \n 换行且 阅读全文

摘要： 一、安装nginx时必须先安装相应的编译工具yum -y install gcc gcc-c++ autoconf automakeyum -y install zlib zlib-devel openssl openssl-devel pcre-develzlib:nginx提供gzip模块，需要 阅读全文

摘要： 一．下载安装包 因为编译安装mysql需要cmake所以先编译安装cmake，这里都一起下载下来 二．编译安装cmake 解压cmake，比如tar -zxvf cmake-3.5.0.tar.gz ，进入主目录cd cmake-3.5.0 这里可以看到里面一些目录和文件，这里可以用bootstra 阅读全文