摘要： 1、为什么需要Hadoop 目前，一块硬盘容量约为1TB，读取速度约为100M/S，因此完成一块硬盘的读取需时约2.5小时（写入时间更长）。若把数据放在同一硬盘上，且全部数据均需要同一个程序进行处理，此程序的处理时间将主要浪费在I/O时间上。 在过去几十年，硬盘的读取速度并未明显增长，而网络传输... 阅读全文

摘要： 一、前置条件1、操作系统准备（1）Linux可以用作开发平台及产品平台。（2）win32只可用作开发平台，且需要cygwin的支持。2、安装jdk 1.6或以上3、安装ssh，并配置免密码登录。$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ss... 阅读全文