摘要：
目的： 初步感受一下hadoop mapreduce 环境： hadoop 2.6.4 1 准备输入文件 注意：输出目录/output 不用提前创建,程序会自动做这一步 2 执行 6/10/23 00:51:38 INFO mapreduce.Job: map 0% reduce 0%16/10/2 阅读全文
摘要：
3. Spark 搭建 过 1.1 搭建伪分布式2.0.1 ok 2016-10-23 耗时 2h ref [0006] Spark 2.0.1 伪分布式搭建练手 后续： 1.2 分布式搭建 notok 2. HDFS 命令行使用 过 1.1 常用功能使用 ok 2016-10-23 耗时 0.5h 阅读全文
摘要：
目的： 学会HDFS CLI 常用操作 环境： Hadoop 2.6.4 伪分布式版 环境搭建参考本博客前篇文章： 伪分布式 hadoop 2.6.4 帮助: 任务： 1 创建目录 2 Linux 本地准备文件,内容任意英文 There are moments in life when you mi 阅读全文
摘要：
说明： 任务：搭建Hadoop伪分布式版本。 目的：快速搭建一个学习环境,跳过这一环境，快速进入状态,使用Hadoop一些组件做些任务 没有选择2.7，觉得bug比较多，不稳定。 选择伪分布式简单快速 环境： Win 7 64 8G 内存 ,4核 VM 12,1 虚拟机 3G 内存 ubuntu 4 阅读全文