摘要：
最近一个项目 在大把大把的使用hadoop-HDFS，关于HDFS 的优势网上都快说烂了，这里不再说了，免得被。。 呵呵废话少说，开整1、场景描述： 服务器A 监听 服务器B分发任务socket。当B 服务器发送指令上传数据，服务器A 便启动HDFSClient 开始从服务器D（FTP服务器）获取数据上传至HADOOP（这里的数据总量大小一般10-100G，单个文件4-15M）2、2、环境： 网络：千兆局域网 hadoop版本：1.2.1 硬件环境：略（正规服务器，不扯了）3、问题至于这种数据量大，文件碎小。单线程程序绝对打不满网络（IO 这里绝对不是问题，服务器插着多块磁盘）此处已写... 阅读全文