摘要: 目的: 学习使用hdfs 的java命令操作 相关: 进化: [b0010] windows 下 eclipse 开发 hdfs程序样例 (二) [b0011] windows 下 eclipse 开发 hdfs程序样例 (三) 环境: hadoop2.6.4 伪分布式 win7 + eclipse 阅读全文
posted @ 2016-10-23 22:14 sunzebo 阅读(911) 评论(0) 推荐(0) 编辑
摘要: 基于前面的伪分布式Hadoop2.6.4上搭建最新的Spark 阅读全文
posted @ 2016-10-23 19:56 sunzebo 阅读(497) 评论(0) 推荐(0) 编辑
摘要: 1 Ubuntu 解压 联网安装程序包 阅读全文
posted @ 2016-10-23 17:28 sunzebo 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 目的: 初步感受一下hadoop mapreduce 环境: hadoop 2.6.4 1 准备输入文件 注意:输出目录/output 不用提前创建,程序会自动做这一步 2 执行 6/10/23 00:51:38 INFO mapreduce.Job: map 0% reduce 0%16/10/2 阅读全文
posted @ 2016-10-23 16:00 sunzebo 阅读(390) 评论(0) 推荐(0) 编辑
摘要: 3. Spark 搭建 过 1.1 搭建伪分布式2.0.1 ok 2016-10-23 耗时 2h ref [0006] Spark 2.0.1 伪分布式搭建练手 后续: 1.2 分布式搭建 notok 2. HDFS 命令行使用 过 1.1 常用功能使用 ok 2016-10-23 耗时 0.5h 阅读全文
posted @ 2016-10-23 14:10 sunzebo 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 目的: 学会HDFS CLI 常用操作 环境: Hadoop 2.6.4 伪分布式版 环境搭建参考本博客前篇文章: 伪分布式 hadoop 2.6.4 帮助: 任务: 1 创建目录 2 Linux 本地准备文件,内容任意英文 There are moments in life when you mi 阅读全文
posted @ 2016-10-23 13:58 sunzebo 阅读(3290) 评论(0) 推荐(0) 编辑
摘要: 说明: 任务:搭建Hadoop伪分布式版本。 目的:快速搭建一个学习环境,跳过这一环境,快速进入状态,使用Hadoop一些组件做些任务 没有选择2.7,觉得bug比较多,不稳定。 选择伪分布式简单快速 环境: Win 7 64 8G 内存 ,4核 VM 12,1 虚拟机 3G 内存 ubuntu 4 阅读全文
posted @ 2016-10-23 12:51 sunzebo 阅读(601) 评论(0) 推荐(0) 编辑