随笔分类 - Linux
摘要：抄一个可行的Hadoop Yarn环境配置。用的官方的2.2.0版本。http://www.jdon.com/bigdata/yarn.htmlHadoop 2.2新特性将Mapreduce框架升级到Apache YARN，YARN将Map reduce工作区分为两个：JobTracker组件：实现资源管理和任务JOB；计划/监视组件：划分到单独应用中。 使用MapReduce的2.0，开发人员现在可以直接Hadoop内部基于构建应用程序。Hadoop2.2也已经在微软widnows上支持。YARN带来了：1.HDFS的高可靠性2.HDFS snapshots快照3.支持HDFS中的 NFSv
阅读全文
摘要：摘抄自:http://hi.baidu.com/machao_pe/item/763d0ef12d32cd35fe3582dbredhat和ubuntu中修改环境变量2010-03-0623:43有些命令的路径没有在PATH环境变量中，可以用echo$PATH命令查询得知，添加路径到PATH环境变量的方法如下：(如添加/sbin到PATH环境变量中)（1）如果只想在本次开机过程中临时性的添加修改，下次开机就无效的话，可以：输入exportPATH=$PATH:/sbin（2）如果只给当前用户永久添加，则：在~/.bash_profile中的靠近末尾有类似这样的一行PATH=$PATH:$HOM
阅读全文
摘要：事实证明，至少在mac-osx上，利用sed插入一个换行符是很难的，常规的命令如：sed 's/[\.\?\!]/\n' file是不可能的，会把那些标点符号变成n。尝试了SO上的很多方法http://stackoverflow.com/questions/723157/how-to-insert-a-newline-in-front-of-a-pattern实践表明，这个可行sed 's/regexp/\'$'\n/g'具体为啥不太懂，也不知道这个$符号到底起什么作用，暂且记录下来吧。
阅读全文
摘要：参照《Beginning Linux Programming》上的例程写了一个连接mysql的c语言小程序connect1.c。但是按照书上的编译命令无法编译。然后经过查阅资料解决了问题。记录如下：首先书上的编译命令是：gcc-I/usr/local/mysql/include/connect1.c -L/usr/local/mysql/lib/-lmysqlclient-oconnect1编译不成功，始终提示directory not found。网上有人说编译器不能识别全路径制定的lib库什么的，众说纷纭。后来我尝试调换了一下命令各参数的顺序：gcc -I /usr/local/mys..
阅读全文
摘要：昨天写一个脚本花了一天的2/3的时间，而且大部分时间都耗在了sed命令上，今天不总结一下都对不起昨天流逝的时间啊~~~用sed命令在行首或行尾添加字符的命令有以下几种：假设处理的文本为test.file在每行的头添加字符，比如"HEAD"，命令如下：sed 's/^/HEAD&/g' test.file在每行的行尾添加字符，比如“TAIL”，命令如下：sed 's/$/&TAIL/g' test.file运行结果如下图：几点说明：1."^"代表行首，"$"代表行尾2.'s/$/&
阅读全文
摘要：#按字段1排序，按字段2去重 sort -k1.1 $logfilepath | awk '!a[$2]++{print}' > outtestfileby2.log #按字段1排序，按字段1去重 sort $logfilepath | awk '!a[$1]++{print}' > $outfilepath #超简单的根据字段1来去重，但不排序 cat $logfilepath | awk '!a[$1]++' > $outfilepath
阅读全文
摘要：grep -F -f listb lista -v可以求差集A-B
阅读全文
摘要：1,$ s#<br/>#\n#g替换文本中所有的<br/>为\n%s/\r//可以去除讨厌的^M
阅读全文
摘要：修改php设置后你需要重启php才能生效,另外定期重启php会释放所消耗的内存/usr/local/php/sbin/php-fpm restartphp-fpm程序的路径可能不一，这里是我的路径.
阅读全文
摘要：[Ctrl] + [f] 屏幕『向下』移动一页，相当于 [Page Down]按键 (常用)[Ctrl] + [b] 屏幕『向上』移动一页，相当于 [Page Up] 按键 (常用)0 或功能键[Home] 这是数字『 0 』：移动到这一行的最前面字符处 (常用)$ 或功能键[End] 移劢到这一行的最后面字符处(常用)G 移动到这个档案的最后一行(常用)gg 移动到这个档案的第一行，相当于 1G 啊！ (常用)n<Enter> n 为数字。光标向下移动 n 行(常用)/word 向光标之下寻找一个名称为 word 的字符串。例如要在档案内搜寻 vbird 这个字符串，就输入 /v
阅读全文
摘要：一、文件的属性 linux文件属性的格式为- --- --- ---。第一位为文件的类型，剩下的9位，每三位为一组，分别对应文件所有者，文件所以者所属的用户组，其他人的关系。 r为可读，w为可写，x为可执行。如果一个用户没有对某个目录的可执行权限，那么他不能进入此目录。二、如何修改文件的权限 chgrp 修改文件的用户组，但是用户组必须已经在系统的/etc/group里有定义 chown改变文件的拥有者，但是用户必须已经在系统的/etc/password里有定义 chmod修改文件的属性。三、重要目录 根据文件系统层次标准(FHS)的规定，有以下一些重要的目录以及其用途。 / 根目录。操作系统
阅读全文
摘要：一、登陆 1、使用root账户登陆 由于我使用的是ubuntu，在不修改密码的前提下，root账户是被禁用的。所以应该先修改root账户的密码。 修改使用命令 sudo passwd root然后就可以输入新的密码了 然后使用root账户登陆。输入指令sudo -s -H 不过我在论坛上看到了各种各样的忠告，那就是不要使用root登陆系统，而是使用sudo指令。二、基础命令 1、显示时间 date 2、显示日历 cal 3、计算器 bc 输入quit退出 4、查看在线用户 who 5、将当前内存中的数据写入硬盘 sync 6、关机 shutdown 7、重启 reboot三、在线帮助 1、ma
阅读全文
