摘要: Disk_Throughput_Test.shHadoop_copyFromLocal_Test.sh#!/bin/bashIOtest="/data1/testdata/IOtest"host="/data1/perf_share/$(hostname)_$(date -d "today"+"%Y%m%d_%H%M%S")_$i"#删除表格rm -f /data1/perf_share/*.xls#删除.dat文件rm -f /data1/perf_share/*.dat#执行三次循环以取得平均值for((i=1 阅读全文
posted @ 2011-09-14 20:15 luwikes 阅读(300) 评论(0) 推荐(0) 编辑
摘要: FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/chil 阅读全文
posted @ 2011-09-14 20:13 luwikes 阅读(458) 评论(0) 推荐(0) 编辑
摘要: 1 修改主机名修改/etc/hosts文件,按下面的格式添加:Id主机名2创建/home/hadoop目录在所有节点上创建/home/hadoop目录:mkdir -p /home/hadoop1修改主机名<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" /> 3创建用户和密码在所有节点上创建用户并设置密码:useradd -d /home/hadoop/XXX -s /bin/bashXXX –mpasswd XXX4XXX用户ssh免密码登陆XXX用户生成.ss 阅读全文
posted @ 2011-09-14 20:11 luwikes 阅读(299) 评论(0) 推荐(0) 编辑
摘要: shell 编程中使用到得if语句内判断参数–b 当file存在并且是块文件时返回真-c 当file存在并且是字符文件时返回真-d 当pathname存在并且是一个目录时返回真-e 当pathname指定的文件或目录存在时返回真-f 当file存在并且是正规文件时返回真-g 当由pathname指定的文件或目录存在并且设置了SGID位时返回为真-h 当file存在并且是符号链接文件时返回真,该选项在一些老系统上无效-k 当由pathname指定的文件或目录存在并且设置了“粘滞”位时返回真-p 当file存在并且是命令管道时返回为真-r 当由pathname指定的文件或目录存在并且可读时返回为真 阅读全文
posted @ 2011-09-14 20:09 luwikes 阅读(23102) 评论(0) 推荐(0) 编辑
摘要: 使用test命令进行进行条件测试 格式: test conditions test在以下四种情况下使用: a. 字符比较 b.两个整数值的比较 c. 文件操作,如文件是否存在及文件的状态等 d. 逻辑操作,可以进行and/or,与其他条件联合使用 a. 测试字符数据: shell变量通常均作为字符变量 str1 = str2 二者相长,相同 str1 != str2 不同 -n string string不为空(长度不为零) -z string string为空 string string不为空 例: $ str1=abcd #在含有空格时必须用引号括起来 $ test $str1=abcd. 阅读全文
posted @ 2011-09-14 20:07 luwikes 阅读(776) 评论(0) 推荐(0) 编辑
摘要: 这一段中间好象有点问题,我的环境是Debian,bash,if [ $ANSWER=N -o $ANSWER =n ]8 then9 echo 110 exit11 else12 echo `ls ./`13 fi这样好像不是预期的效果。 当运行输入Y,N,n都是一样的解构, 就是echo 1的结果。判断的那行 改成if [ $ANSWER = "N" -o $ANSWER = "n" ]就可以,这样才说明是测试字符串。用test $ANSWER=N -o $ANSWER=n7 echo $?测试附:运算符 描述 示例文件比较运算符-e filename 阅读全文
posted @ 2011-09-14 20:06 luwikes 阅读(286) 评论(0) 推荐(0) 编辑
摘要: 在计算机程序中,数据的位是可以操作的最小数据单位,理论上可以用“位运算”来完成所有的运算和操作。一般的位操作是用来控制硬件的,或者做数据变换使用,但是,灵活的位操作可以有效地提高程序运行的效率。C语言提供了位运算的功能, 这使得C语言也能像汇编语言一样用来编写系统程序。 位运算符C语言提供了六种位运算符: & 按位与 | 按位或 ^ 按位异或 ~ 取反 << 左移 >> 右移 1. 按位与运算 按位与运算符"&"是双目运算符。其功能是参与运算的两数各对应的二进位相与。只有对应的两个二进位均为1时,结果位才为1 ,否则为0。参与运算的数 阅读全文
posted @ 2011-09-14 20:05 luwikes 阅读(968) 评论(0) 推荐(0) 编辑
摘要: shell中可能经常能看到:>/dev/null 2>&1 命令的结果可以通过%>的形式来定义输出 /dev/null 代表空设备文件 > 代表重定向到哪里,例如:echo "123" > /home/123.txt 1 表示stdout标准输出,系统默认值是1,所以">/dev/null"等同于"1>/dev/null" 2 表示stderr标准错误& 表示等同于的意思,2>&1,表示2的输出重定向等同于1 那么本文标题的语句: 1>/dev/null 首 阅读全文
posted @ 2011-09-14 20:03 luwikes 阅读(325) 评论(0) 推荐(0) 编辑
摘要: RPM是RedhatPackageManager的缩写,是由RedHat公司开发的软件包安装和管理程序,同Windows平台上的Uninstaller比较类似。使用RPM,用户可以自行安装和管理Linux上的应用程序和系统工具。RPM可以让用户直接以binary方式安装软件包,并且可替用户查询是否已经安装了有关的库文件;在用RPM删除程序时,它又会聪明地询问用户是否要删除有关的程序。如果使用RPM来升级软件,RPM会保留原先的配置文件,这样用户就不用重新配置新的软件了。RPM保留一个数据库,这个数据库中包含了所有的软件包的资料,通过这个数据库,用户可以进行软件包的查询。RPM虽然是为Linux 阅读全文
posted @ 2011-09-14 20:02 luwikes 阅读(39000) 评论(0) 推荐(2) 编辑
摘要: 现记录linux下java环境的配置1.下载:jdk-6u21-linux-x64-rpm.bin2.给文件加上可执行权限 [root@Test-BaiYutang0 usr]# chmod +x jdk-6u21-linux-x64-rpm.bin3.执行jdk-6u21-linux-x64-rpm.bin [root@Test-BaiYutang0 usr]# ./jdk-6u21-linux-x64-rpm.bin 执行后生成jdk-6u21-linux-x64-rpm4.安装jdk-6u21-linux-x64-rpm [root@Test-BaiYutang0 usr]# rpm - 阅读全文
posted @ 2011-09-14 20:00 luwikes 阅读(643) 评论(0) 推荐(0) 编辑
摘要: Linux scp命令用于Linux之间复制文件和目录,具体如何使用这里好好介绍一下,从本地复制到远程、从远程复制到本地是两种使用方式。这里有具体举例: ================== Linux scp 命令 ================== scp 可以在 2个 linux 主机间复制文件; 命令基本格式: scp [可选参数] file_source file_target ====== 从 本地 复制到 远程 ====== * 复制文件: * 命令格式: scp local_file remote_username@remote_ip:remote_f... 阅读全文
posted @ 2011-09-14 19:58 luwikes 阅读(240) 评论(0) 推荐(0) 编辑
摘要: vi可以直接用键盘上的光标来上下左右移动,但正规的vi是用小写英文字母[h]、[j]、[k]、[l],分别控制光标左、下、上、右移一格。 按[ctrl]+[b]:屏幕往“后”移动一页。 按[ctrl]+[f]:屏幕往“前”移动一页。 按[ctrl]+[u]:屏幕往“后”移动半页。 按[ctrl]+[d]:屏幕往“前”移动半页。 按[gg]:移动到文章的首行。(可能只在Vim中有效) 按[G]:移动到文章的最后。 按[$]:移动到光标所在行的“行尾”。 按[^]:移动到光标所在行的“行首” 按[w]:光标跳到下个字的开头 按[e]:光标跳到下个字的字尾 ... 阅读全文
posted @ 2011-09-14 19:56 luwikes 阅读(278) 评论(0) 推荐(0) 编辑
摘要: 能做和是否明白大有不同控制台命令 root相当于window下的administratorstartx 图形界面shutdown -h now 立刻进行关机shutdown -r now 重启reboot 重启su命令 切换用户logout 注销Linux的特点1、免费、开源 2、支持多线程、多用户 3、安全性好 4、对内存和文件管理优越缺点:操作相对困难Linux最小只需要4M内存,可以很好的用于嵌入式开发Linux下的目录:root、home、bin、sbin、mnt、etc、var、boot、vsr其中: root 存放root用户的相关文件 home 存放普通用户的相关文件 bin 存 阅读全文
posted @ 2011-09-14 19:55 luwikes 阅读(502) 评论(0) 推荐(0) 编辑
摘要: 即时生效:ifconfig eth0 192.168.1.102 netmask 255.255.255.0启动生效:vim /etc/sysconfig/network-scripts/ifcfg-eth0加入IPADDR=192.168.1.102NETMASK=255.255.255.0修改default gateway即时生效:route add default gw 192.168.1.1启动生效:vim /etc/sysconfig/network-scripts/ifcfg-eth0加入GATEWAY=192.168.1.1最后结果如下:DEVICE=eth0BOOTPROTO= 阅读全文
posted @ 2011-09-14 19:53 luwikes 阅读(781) 评论(0) 推荐(0) 编辑
摘要: /bin:是binary的缩写,这个目录是对Unix系统习惯的沿袭,存放着使用者最经常使用的命令。如:ls,cp,cat等。/boot:这里存放的是启动Linux时使用的一些核心文件。/dev:是device的缩写.这个目录下是所有Linux的外部设备,其功能类似Dos下的.sys和Win下的.vxd。在Linux中设备和文件是用同种方法访问的。例如:/dev/hda代表第一个物理IDE硬盘。/etc:这个目录用来存放所有的系统管理所需要的配置文件和子目录。/home:用户主目录,比如说有个用户叫sina,那他的主目录就是/home/sina,说到这里打个岔.你现在应该明白,在我们访问一些个人 阅读全文
posted @ 2011-09-14 19:51 luwikes 阅读(2304) 评论(0) 推荐(0) 编辑