摘要:
1 Ubuntu 解压 联网安装程序包 阅读全文
摘要:
目的: 初步感受一下hadoop mapreduce 环境: hadoop 2.6.4 1 准备输入文件 注意:输出目录/output 不用提前创建,程序会自动做这一步 2 执行 6/10/23 00:51:38 INFO mapreduce.Job: map 0% reduce 0%16/10/2 阅读全文
摘要:
3. Spark 搭建 过 1.1 搭建伪分布式2.0.1 ok 2016-10-23 耗时 2h ref [0006] Spark 2.0.1 伪分布式搭建练手 后续: 1.2 分布式搭建 notok 2. HDFS 命令行使用 过 1.1 常用功能使用 ok 2016-10-23 耗时 0.5h 阅读全文
摘要:
目的: 学会HDFS CLI 常用操作 环境: Hadoop 2.6.4 伪分布式版 环境搭建参考本博客前篇文章: 伪分布式 hadoop 2.6.4 帮助: 任务: 1 创建目录 2 Linux 本地准备文件,内容任意英文 There are moments in life when you mi 阅读全文
摘要:
说明: 任务:搭建Hadoop伪分布式版本。 目的:快速搭建一个学习环境,跳过这一环境,快速进入状态,使用Hadoop一些组件做些任务 没有选择2.7,觉得bug比较多,不稳定。 选择伪分布式简单快速 环境: Win 7 64 8G 内存 ,4核 VM 12,1 虚拟机 3G 内存 ubuntu 4 阅读全文