摘要: ### 运行结果附图本节课程主要内容为学习MapReduc设计模式,并编写java程序对日志文件进行处理。课本上介绍的MapReduce的设计模式主要包含:计数(Counting),分类(Classification),过滤处理(Filtering),排序(Sorting),去重计数(Distinc... 阅读全文
posted @ 2015-06-15 22:16 ivywenyuan 阅读(474) 评论(0) 推荐(0) 编辑
摘要: ### 运行结果附图本节课程主要内容为深入学习MapReduce原理,并编写java程序对日志文件进行流量统计。1. 首先编写MapReduce代码,并在Eclipse中调试成功 代码主要思路: map阶段: 以user:spname组成的Text作为key;以u... 阅读全文
posted @ 2015-06-15 22:14 ivywenyuan 阅读(220) 评论(0) 推荐(0) 编辑
摘要: ### 运行结果附图本节课程主要内容为MapReduce基本原理,以及在MapReduce编程环境搭建。实验内容为:在Eclipse中编写对文本的字母进行计数的MapReduce程序,在本地调试成功后,将java工程打成jar包放到Hadoop集群上运行。1. 在linux下安装eclipse,建立... 阅读全文
posted @ 2015-06-15 22:11 ivywenyuan 阅读(315) 评论(0) 推荐(0) 编辑
摘要: ### 运行结果附图课程内容为HDFS的基本操作和HUE页面的使用主要是HDFS的基本命令。对于文件的操作,命令与linux的类似,但是要在前面加上hadoop fs其基本的格式为 hadoop fs 1. 查看文件 hadoop fs -ls ![ls](http://10.106.128.... 阅读全文
posted @ 2015-06-15 22:10 ivywenyuan 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 1,一条时间线就是一个分支,分支指向提交,HEAD是指向当前分支的2,分支的创建,合并,删除git checkout -b dev 创建了新的分支dev并且切换到了dev(也即当前分支为dev,HEAD指向了dev,dev指向提交) 或者使用 git branch dev git checkout ... 阅读全文
posted @ 2015-06-15 09:34 ivywenyuan 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 1,磁盘的扇区为最小的物理存储单位,大小为512bytes2,扇区sector 组成 柱面cylinder 组成 分区partition 一个分区对应一个文件系统,一个文件系统要挂载到相应的目录上去3,linux的正规文件系统为ext24,inode 记录文件的权限及相关属性和此文件所占用的bloc... 阅读全文
posted @ 2015-06-15 08:36 ivywenyuan 阅读(143) 评论(0) 推荐(0) 编辑