10 2016 档案
摘要:sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换、删除、新增、选取等特定工作,下面先了解一下sed的用法sed命令行格式为: sed [-nefri] ‘command’ 输入文本 常用选项: -n∶使用安静(silent)模式。在一般 sed 的用
阅读全文
摘要:shell程序中的操作默认都是字符串操作,在要运行数学运算符的时候可能得到意想不到的答案: var=1 var=$var+1 echo $var output:1+1 从这个例子中可以看出shell字符串连接的操作,需要注意的是空格。 在shell中可以使用let来指示下面是算术表达式,let表达式
阅读全文
摘要:if [ $b -gt 0 -o $c -gt 0 -a $a -gt 0 ]; then.fi对shell中的关系运算符说明如下:-gt 表示greater than,大于-lt 表示less than,小于-eq 表示 equal,等于对shell中的连接符说明如下:-a 表示 and,且-o
阅读全文
摘要:Linux系统的ping命令是常用的网络命令,它通常用来测试与目标主机的连通性,我们经常会说“ping一下某机器,看是不是开着”、不能打开网页时会说“你先ping网关地址192.168.1.1试试”。它通过发送ICMP ECHO_REQUEST数据包到网络主机(send ICMP ECHO_REQU
阅读全文
摘要:经常要部署多台服务器上面的应用,如果一个个机器的登录太麻烦。 所有就想到编写一个脚本来部署不同的服务器 前提条件: 配置ssh免登陆 (1)命令行执行登录并且在目标服务器上执行命令 基本能完成常用的对于远程节点的管理了,几个注意的点: (2)脚本的方式 这个正式我想要的方式,在目标服务器上执行批量的
阅读全文
摘要:比较已经排序的文件 comm [options] file1 file2 comm将逐行比较已经排序的两个文件。显示结果包括3列: 第1列为只在file1中找到的行;第2列为只在file2中找到的行;第3列为两个文件的公用行。 参数 参数file1和file2为comm要比较的文件的路径名。用连字符
阅读全文
摘要:cut cut命令可以从一个文本文件或者文本流中提取文本列。 cut语法 PATH 变量如下 将 PATH 变量取出,我要找出第五个路径。 将 PATH 变量取出,我要找出第三和第五个路径。 将 PATH 变量取出,我要找出第三到最后一个路径。 将 PATH 变量取出,我要找出第一到第三个路径。 将
阅读全文
摘要:sort命令是帮我们依据不同的数据类型进行排序,其语法及常用参数格式: sort [-bcfMnrtk][源文件][-o 输出文件] 补充说明:sort可针对文本文件的内容,以行为单位来排序。 参 数: -b 忽略每行前面开始出的空格字符。 -c 检查文件是否已经按照顺序排序。 -f 排序时,忽略大
阅读全文
摘要:1.最直接简单的判断 不用那些if语句了,直接缩短代码量。 2. 变量通过" "引号引起来 如下所示:,可以得到结果为 IS NULL. 3. 直接通过变量判断 如下所示:得到的结果为: IS NULL,跟第一种方法一样的,只是代码长一点,推荐使用第一种判断方式,简单明了。 4. 使用test判断
阅读全文
摘要:shell 编程中使用到得if语句内判断参数 –b 当file存在并且是块文件时返回真 -c 当file存在并且是字符文件时返回真 -d 当pathname存在并且是一个目录时返回真 -e 当pathname指定的文件或目录存在时返回真 -f 当file存在并且是正规文件时返回真 -g 当由path
阅读全文
摘要:Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数,并将统计结果显示输出。 1.命令格式: wc [选项]文件... 2.命令功能: 统计指定文件中的字节数、字数、行数,并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名,则从
阅读全文
摘要:在linux环境中,不管是编程还是其他维护,时间是必不可少的,也经常会用到时间的运算,熟练运用date命令来表示自己想要表示的时间,肯定可以给自己的工作带来诸多方便。1.命令格式: date [参数]... [+格式]2.命令功能:date 可以用来显示或设定系统的日期与时间。3.命令参数:必要参数
阅读全文
摘要:Shell脚本中 整数运算一般通过 let 和 expr 这两个指令来实现,如对变量 s 加 1 可以写作:let "s = $s + 1" 或者 s=`expr $s + 1‘两者的写法没都很简单,但是性能的比较可以来实例给大家演示一下: 1、expr脚本与执行时间: 2、let脚本与执行时间:
阅读全文
摘要:Most of the commands in FS shell behave like corresponding Unix commands. Differences are described with each of the commands. Error information is se
阅读全文
摘要:1. Read的一些选项 Read可以带有-a, -d, -e, -n, -p, -r, -t, 和 -s八个选项。 -a :将内容读入到数值中 -d : 表示delimiter,即定界符,一般情况下是以IFS为参数的间隔,但是通过-d,我们可以定义一直读到出现执行的字符位置。例如read –d m
阅读全文
摘要:ResourceManager高可用配置 1. yarn-site.xml配置 <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-ha</value> </property> <property> <name>ya
阅读全文
摘要:处理 复杂的要求的时候,有时一个mapreduce程序是完成不了的,往往需要多个mapreduce程序,这个时候就要牵扯到各个任务之间的依赖关系,所谓 依赖就是一个MR Job 的处理结果是另外的MR 的输入,以此类推,完成几个mapreduce程序,得到最后的结果 下面是用Mapreduce写的t
阅读全文
摘要:1,修正本地时区及ntp服务 #yum -y install ntp#rm -rf /etc/localtime#ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime#/usr/sbin/ntpdate -u pool.ntp.org2,自动同
阅读全文
摘要:mysqlimport -h 172.16.145.125 -u ocetl -pocetl test --fields-terminated-by='|' '/home/ocetl/tmp_user_info.txt' --columns='user_id,user_name,user_age,u
阅读全文
摘要:启动hivemetastore hive --service metastore 启动hiveserver2 hive --service hiveserver2 beeline !connect jdbc:hive2://172.16.145.124:10000 hive hive 后台运行 hi
阅读全文
摘要:1.查进程 ps命令查找与进程相关的PID号: ps a 显示现行终端机下的所有程序,包括其他用户的程序。 ps -A 显示所有程序。 ps c 列出程序时,显示每个程序真正的指令名称,而不包含路径,参数或常驻服务的标示。 ps -e 此参数的效果和指定"A"参数相同。 ps e 列出程序时,显示每
阅读全文
摘要:可以使用ps命令。它能显示当前运行中进程的相关信息,包括进程的PID。Linux和UNIX都支持ps命令,显示所有运行中进程的相关信息。 ps命令能提供一份当前进程的快照。如果想状态可以自动刷新,可以使用top命令。 ps命令 输入下面的ps命令,显示所有运行中的进程: 其中, -A:显示所有进程
阅读全文
摘要:查看某一端口的占用情况: lsof -i:端口号 前提:首先你必须知道,端口不是独立存在的,它是依附于进程的。某个进程开启,那么它对应的端口就开启了,进程关闭,则该端口也就关闭了。下次若某个进程再次开启,则相应的端口也再次开启。而不要纯粹的理解为关闭掉某个端口,不过可以禁用某个端口。 1. 可以通过
阅读全文
摘要:我们在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的目录下,向该目录添加新文件的同时,该表也会读取到该文件(当然文件格式必须跟表定义的一致),删除外部表的同时并不会删除location指定目录下的文件. 1.查看hdfs系统目录/user/hado
阅读全文
摘要:直接在虚拟机上ssh道实验室的服务器时并没有发现过上一段时间不操作就会断开,可能是我没有注意,也能是操作时间间隔比较短。 但是在secureCRT上登录时,发现经常的断开,很是郁闷,所以baidu了一下,呵呵,好多人都遇到过这种问题。我也贴一下,方便记忆。 有 时候服务器端的 /etc/profil
阅读全文
摘要:脚本在执行之前就怕出问题.Linux提供了不需要通过直接执行该脚本就判断是否有问题. [root@localhost ]# sh -nvx scripts.sh 参数: -n 不执行脚本,仅检查语法问题 -v 在脚本执行前,先将脚本的内容输出到屏幕上 -x 将使用的脚本内容显示到屏幕上,这个参数最有
阅读全文
摘要:这里不讲vsftpd的基本配置,网上教程已经太多了。这里只说seLinux的问题。 日前在CentOS6.5中安装了vsftpd,按照网上搜索的教程,配置好/etc/vsftpd/vsftpd.conf,重新启动后,登录实验,又出现了著名的不能设置主目录错误: 再到网上求助,发现多数都是让关掉seL
阅读全文