摘要: Hadoop MapReduce Hadoop MapReduce Hadoop MapReduce 这样我们就可以把MapReduce理解为,把一堆杂乱无章的数据按照某种特征归纳起来,然后处理并得到最后的结果。Map面对的是杂乱无章的互不相关的数据,它解析每个数据,从中提取出key和value,也 阅读全文
posted @ 2018-01-15 21:34 suwenyuan 阅读(197) 评论(0) 推荐(0) 编辑
摘要: 简介 Hadoop Distributed File System,分布式文件系统 架构 Block数据&##x5757; 基本存储单位,一般大小为64M(配置大的块主要是因为:1)减少搜寻时间,一般硬盘传输速率比寻道时间要快,大的块可以减少寻道时间;2)减少管理块的数据开销,每个块都需要在Name 阅读全文
posted @ 2018-01-15 21:21 suwenyuan 阅读(233) 评论(0) 推荐(0) 编辑
摘要: sh文件介绍 .sh为Linux的脚本文件,我们可以通过.sh执行一些命令,可以理解为windows的.bat批处理文件。 点命令 .命令和source是同一个命令,可以理解为source的缩写,简称点命令。 sh、source和.命令执行.sh文件的区别 假如有一个文件test.sh,脚本内容如下 阅读全文
posted @ 2018-01-15 13:33 suwenyuan 阅读(565) 评论(0) 推荐(0) 编辑
摘要: 1.while[] 2. while(()) #!/bin/dash i=1 while(($i<5));do echo "while(()): $i" i=`expr $i + 1` done 阅读全文
posted @ 2018-01-15 13:16 suwenyuan 阅读(281) 评论(0) 推荐(0) 编辑
摘要: 1. 单引号 ( '' ) 被单引号用括住的内容,将被视为单一字串。 2. 双引号 ( " " ) 被双引号用括住的内容,将被视为单一字串。双引号只要求忽略大多数,具体说,括在双引号中的三种特殊字符不被忽略:$,\,` 。 3. 反引号(``) shell中有两种方法作命令替换:把shell命令用反 阅读全文
posted @ 2018-01-15 13:07 suwenyuan 阅读(2831) 评论(0) 推荐(0) 编辑
摘要: 第一类:数字性循环 for1-1.sh #!/bin/bash for((i=1;i<=10;i++)); do echo $(expr $i \* 3 + 1); done for1-2.sh #!/bin/bash for i in $(seq 1 10) do echo $(expr $i \ 阅读全文
posted @ 2018-01-15 12:53 suwenyuan 阅读(437) 评论(0) 推荐(0) 编辑
摘要: useradd与adduser都是创建新的用户 在CentOS下 useradd与adduser是没有区别的都是在创建用户,在home下自动创建目录,没有设置密码,需要使用passwd命令修改密码。 在Ubuntu下 1、useradd在使用该命令创建用户是不会在/home下自动创建与用户名同名的用 阅读全文
posted @ 2018-01-15 11:11 suwenyuan 阅读(158) 评论(0) 推荐(0) 编辑
摘要: -eq:等于-ne:不等于-le:小于等于-ge:大于等于-lt:小于-gt:大于 阅读全文
posted @ 2018-01-15 11:04 suwenyuan 阅读(242) 评论(0) 推荐(0) 编辑
摘要: seq 用于生成从一个数到另一个数之间的所有整数 seq [选项]... 尾数 seq [选项]... 首数 尾数 seq [选项]... 首数 增量 尾数 例如: 1. -s 指定分隔符,默认分隔符是/n #!/bin/bashecho `seq -s "+" 1 5` #空格作为分隔符 2. - 阅读全文
posted @ 2018-01-15 10:53 suwenyuan 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 创建函数的格式,有两种: function name { commands } name() { commands } #!/bin/bash echo $(uname); #the global Variabledeclare num=1000; uname(){ echo "test!"; (( 阅读全文
posted @ 2018-01-15 10:24 suwenyuan 阅读(123) 评论(0) 推荐(0) 编辑