2016年3月29日
MapReduce 初学总结
摘要： MapReduce 原理初学 MapReduce 体现一种编程思想，是一种分布式计算模型。Hadoop实现了MapReduce编程模型和计算框架。核心思想：把对大规模的数据集的操作，分发给一个主节点管理下的各分节点共同完成，然后通过整合各分节点的中间结果，得到最终的结果。其核心是要实现map()和r 阅读全文
posted @ 2016-03-29 17:14 nwpulisz 阅读(981) 评论(0) 推荐(0) 编辑
2016年3月28日
HDFS java常用API
摘要： 1、HDFS java常用API 及hadoop-eclipse-plugin-1.1.2.jar插件的使用 HDFS的java访问接口——FileSystem create：创建文件； open：读取文件； delete：删除文件； mkdirs：创建目录； delete：删除文件或者目录； li 阅读全文
posted @ 2016-03-28 16:57 nwpulisz 阅读(777) 评论(0) 推荐(0) 编辑
2016年3月25日
HDFS Shell命令
摘要： HDFS常用基本shell操作 帮助命令： hadoop fs -help hadoop fs -help ls 三种表示： hadoop fs -ls hdfs://hadoop0:9000/ hadoop fs -ls hdfs://192.168.255.132:9000/ hadoop fs 阅读全文
posted @ 2016-03-25 19:55 nwpulisz 阅读(183) 评论(0) 推荐(0) 编辑
2016年3月24日
HDFS 基本原理学习总结
摘要： HDFS：hadoop distributed file system HDFS基本原理 通透性：应用程序和用户，访问网络上的文件系统，就像访问本地磁盘一样； 容错性：系统中的某些节点宕掉了，但是整体不应该有数据损失； hdfs 是分布式文件系统的一种，适用于一次写入多次查询的情况，不支持并发，小文 阅读全文
posted @ 2016-03-24 20:24 nwpulisz 阅读(1084) 评论(0) 推荐(0) 编辑
hadoop伪分布环境搭建
摘要： Hadoop伪分布环境搭建（网易云课堂hadoop大数据实战学习笔记） 工具：VMware WorkStation 8.0.2； CentOS6.4； hadoop-1.1.2.tar.gz; Xshell 4，作为登录工具，可以不启动CentOS的GUI（实验机的配置较低，可以省资源），“远程登录 阅读全文
posted @ 2016-03-24 17:54 nwpulisz 阅读(1384) 评论(0) 推荐(0) 编辑