摘要：
研究Spark源码也有一段时间了，一直都是直接看代码，没有调试。虽然带着思路去看源代码已经能够帮助我们去了解Spark了；但是很多细节从字面上是看不出来的，如果我能够通过运行时调试验证我的想法，或者能够查看某个类中变量和结构在运行时是什么岂不是更好？好，我们今天就来实现这个想法。 动手之前，我已经在 阅读全文
摘要：
首先安装Adobe Acrobat 9 Pro，默认安装在C盘。 如果你的系统盘是C盘，那么就删除：c:/Documents and Settings/All Users/Application Data/FLEXnet目录下的adobe_00080000_tsf.data文件，注意这个文件是隐藏的 阅读全文
摘要：
搭建Spark环境后，调测Spark样例时，出现下面的错误：WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that worke 阅读全文
摘要：
昨天写了一个mapreduce函数一直有错误，找不到错误，今天找了一天终于解决了，原来是hadoop 的job.setOutputKeyClass和job.setOutputValueClas设置输出的问题。 job.setOutputKeyClass和job.setOutputValueClas在 阅读全文
摘要：
初学java，一直搞不懂java里面的io关系，在网上找了很多大多都是给个结构图草草描述也看的不是很懂。而且没有结合到java7 的最新技术，所以自己来整理一下，有错的话请指正，也希望大家提出宝贵意见。 首先看个图：（如果你也是初学者，我相信你看了真个人都不好了，想想java设计者真是煞费苦心啊！） 阅读全文
摘要：
以前在 vim 下工作需要在 vim 和其它的编辑器之间复制东西，使用 Shift + Ctrl + v/c.感觉这样很不方便，今天在网上搜索了以下可以用 “+y/p，但是自己实验怎么也不行，在命令模式下输入reg之后看不到 "+. 原来用 apt-get install安装的vim不能使用系统剪贴 阅读全文
摘要：
网罗了一些网上的解决windows下gvim中文乱码的解决方案，都试了一遍，可惜都不能完全解决我的所有问题，最后我综合一下网上的两种方案，得到了最后完全解决我的中文乱码问题的方案，配置很简单，就是把下面的配置直接copy到C:Program Files (x86)Vim_vimrc文件的开头。（下面 阅读全文
摘要：
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的 阅读全文
摘要：
前期准备就不详细说了，课堂上都介绍了1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等） /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙5.ssh免登 阅读全文
摘要：
一、问题描述 由于namenode 是HDFS的大脑，而这个大脑又是单点，如果大脑出现故障，则整个分布式存储系统就瘫痪了。HA（High Available）机制就是用来解决这样一个问题的。碰到这么个问题，首先本能的想到的就是冗余备份，备份的方式有很多种，前辈们设计的有元数据备份方案，seconda 阅读全文