11 2015 档案
摘要:Unix时间戳(Unix timestamp),是一种时间表示方式,定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数。在MySQL中如何格式化时间戳?在mysql中因为timestamp无法支持到毫秒,所以很多时候采用毫秒进行存储。那么如何将存储在数据库中Int类型的时间
阅读全文
摘要:#!/bin/bash 最近在看shell,各种困惑,不过解决困惑的感觉还是很不错的。废话少说,linux中使用文件描述符来标识每个文件对象。文件描述符为一个非负整数,可以唯一标识会话中打开的文件。每个过程最多可以有9个文件描述符。 linux使用的标准文件描述符: 标准输入STDIN就是0,...
阅读全文
摘要:Error:The import javax.servlet cannot be resolvedThe import javax.servlet.http.HttpServletRequest cannot be resolvedDescription:我们经常会把别人的项目copy到自己这里进行...
阅读全文
摘要:在shell编程中,”EOF“通常与”filename或者cat>filename(catfilename或者cat>filename)其实,第一种形式和第二种形式没有什么本质的区别,第一种形式将内容直接输出到标准输出(屏幕),而第二种形式将标准输出进行重定向,将本应输出到屏幕的内容重定向到文件而...
阅读全文
摘要:shell脚本操作mysql数据库,使用mysql的-e参数可以执行各种sql的(创建,删除,增,删,改、查)等各种操作mysql -hhostname -Pport -uusername -ppassword -e 相关mysql的sql语句,不用在mysql的提示符下运行mysql,即可以在sh...
阅读全文
摘要:1. 只支持相等JOIN。 2. 多表连接当使用不同的列进行JOIN时,会产生多个MR作业。 3. 最后的表的数据是从流中读取,而前面的会在内存中缓存,因此最好把最大的表放在最后。 SELECT /*+ STREAMTABLE(a) */ a.val, b.val, c.val FROM a JOI
阅读全文
摘要:hive.optimize.cp=true:列裁剪hive.optimize.prunner:分区裁剪hive.limit.optimize.enable=true:优化LIMIT n语句hive.limit.row.max.size=1000000:hive.limit.optimize.limi
阅读全文
摘要:前置条件 已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase。 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0-CDH3B4.tar.gz :http://archive.cloudera.com/cdh/3/s
阅读全文
摘要:在实际工作中,需要对shell脚本进行正确性测试。如何用最快最有效的方式进行测试?很多开发的习惯是,二话不说,写完/拿到,就跑一把,看看输入,输出,想要的操作是否完成,也就过了。其实这是十分不严谨的,若是未经过QA,风险还是相当大的。以下即shell脚本测试流程,仅供参考1.代码走读:写完,或者拿到...
阅读全文
摘要:linux下重命名文件或文件夹的命令mv既可以重命名,又可以移动文件或文件夹.例子:将目录A重命名为Bmv A B例子:将/a目录移动到/b下,并重命名为cmv /a /b/c其实在文本模式中要重命名文件或目录的话也是很简单的,我们只需要使用mv命令就可以了,比如说我们要将一个名为abc的文件重命名...
阅读全文
摘要:【`】,学名叫“倒引号”, 如果被“倒引号”括起来, 表示里面需要执行的是命令。比如 `dirname $0`, 就表示需要执行 dirname $0 这个命令【“”】 , 被双引号括起来的内容, 里面 出现 $ (美元号: 表示取变量名) `(倒引号: 表示执行命令) \(转义号: 表示转义),...
阅读全文
摘要:在xshell命令行里面输入:locale输出: LANG=zh_CN.UTF-8LC_CTYPE="zh_CN.UTF-8"LC_NUMERIC="zh_CN.UTF-8"LC_TIME="zh_CN.UTF-8"LC_COLLATE="zh_CN.UTF-8"LC_MONETARY="zh_CN...
阅读全文