WOTGL - 博客园

Linux上不了网——wget无法解析主机

摘要：很有可能是网关和域名服务器没有设置 1、设置网关 netstat -rn #查看网关配置情况上面路由表配置应该是任何目的地址都先发送给10.0.6.252，不是我实际的网关 route add default gw 192.168.10.1 #根据实际网关IP填写 2、设置域名服务器 vi /et 阅读全文

posted @ 2017-03-28 10:26 WOTGL 阅读(1781) 评论(0) 推荐(0) 编辑

RedHat改yum源免费使用CentOS源

摘要： linux默认是安装了yum软件的，但是由于激活认证的原因让redhat无法直接进行yum安装一些软件如果我们需要在redhat下直接yum安装软件，我们只用把yum的源修改成CentOS的就好了，这样就能使用yum直接安装我们需要的软件了 1、查看机器版本和位数 [hadoop@master t 阅读全文

posted @ 2017-03-27 17:07 WOTGL 阅读(558) 评论(0) 推荐(0) 编辑

Linux常用命令——tac、bc

摘要： 1、从文件尾到文件头一页一页的显示内容 tac xxx.log |more //tac命令与cat命令相反，从文件尾开始读文件 2、shell下科学计算工具bc echo "scale=5; 1/32"|bc //scale用于指定计算结果的精度 3、shell变量赋值 line1=`wc -l x 阅读全文

posted @ 2017-03-20 13:22 WOTGL 阅读(222) 评论(0) 推荐(0) 编辑

Python读取文件行数不对

摘要：对于一个大文件，读取每一个行然后处理，用readline()方法老是读不全，会读到一半就结束，也不报错；总之处理的行数跟 wc -l 统计的不一样，调试了一下午，改用成功解救，但是不知道是什么原因。网上有说是文件里有特殊字符，需要用rb模式打开，试了也不行。阅读全文

posted @ 2017-03-17 20:11 WOTGL 阅读(894) 评论(0) 推荐(0) 编辑

Hive

摘要： Hive是基于HDFS的分布式数据仓库，可以说是Hadoop的一个插件工具，能够将HDFS结构化文件映射成数据库关系表 Hive最大的特点就是能够将类SQL语句转换成MapReduce，然后提交给Hadoop分布式执行。使用Hive的使用跟MySQL有点类似，但是Hive不支持修改数据。阅读全文

posted @ 2017-03-14 20:07 WOTGL 阅读(141) 评论(0) 推荐(0) 编辑

极其强大的运维工具——pscp、pssh、pslurp

摘要： 1、pscp 用于将本地文件复制到远程主机 pscp -h xxx.host 本地文件远程目录 //xxx.host是所有目的IP的文件，一个IP一行 2、pssh 在远程机器上执行命令 pssh -h xxx.host python myPython.py //先把myPython.py上传到远阅读全文

posted @ 2017-03-12 14:44 WOTGL 阅读(971) 评论(0) 推荐(0) 编辑

Python打开目录下所有文件

摘要：用Python打开指定目录下所有文件，统计文件里特定的字段信息。这里是先进入2017-02-25到2017-03-03目录，然后进入特定IP段目录下，最后打开文件进行统计其中用到了别人的库，用于判断IP是否属于国内IP python JDStatistic.py JDName 10.* 阅读全文

posted @ 2017-03-12 14:17 WOTGL 阅读(1164) 评论(0) 推荐(0) 编辑

Linux常用命令awk

摘要： awk能够处理类似csv这种按行格式的数据，对每一行record按照-F指定的分隔符切割，然后处理。默认支持空格和\t分隔符 1、统计文件里某一列数据等于某个值的个数 2、拼接$1参数指定文件夹下的文件到一个大文件 3、awk打印行号和整行信息 4、awk匹配字符串 5、循环——对输出结果排序，中间阅读全文

posted @ 2017-03-12 14:01 WOTGL 阅读(209) 评论(0) 推荐(0) 编辑

Linux上安装Squall

摘要： Squall是Storm之上的类SQL查询工具，能够将类SQL语句转换成topology，然后提交给Storm运行。安装Squall前要先安装Java和sbt（simple build tool），通过这两个软件将Squall源码编译成squall-0.2.0.jar和squall-depende 阅读全文

posted @ 2016-09-20 19:28 WOTGL 阅读(267) 评论(0) 推荐(0) 编辑

Java项目打包在CMD或者Linux下运行

摘要： Java项目打包在CMD或者Linux下运行 1、在CMD下运行在eclipse中将项目export成jar包，然后用压缩软件解压解压后，在CMD中进入项目根目录下，运行程序： Oracle2Redis-jar>java -cp .\lib\*; oracle.xxx.xx.cn.ReadOra 阅读全文

posted @ 2016-09-14 21:55 WOTGL 阅读(2508) 评论(0) 推荐(0) 编辑