2014年11月22日
java程序中执行HiveQL
摘要： 这里是指java中执行hive或者hiveQL。 注意：而不是经常说的通过JDBC的方式连接Hiveserver2来执行查询。是在部署了hiveserver的服务器上执行hive命令。这样就可以将分析得结果写到文件中，不用一定在hive的命令行client下执行。String sql="show... 阅读全文
posted @ 2014-11-22 16:38 晋心 阅读(860) 评论(0) 推荐(0) 编辑
java执行多条SQL语句
摘要： 一次执行多条SQL的技术要点如下：DatabaseMetaData接口是描述有关数据库的整体综合信息，由于DatabaseMetaData是接口，所以没有构造方法，故不能使用new来创建DatabaseMetaData对象，但是可以通过Connection的getMetaData()方法创建。例如：... 阅读全文
posted @ 2014-11-22 16:32 晋心 阅读(46064) 评论(1) 推荐(6) 编辑
获得某个月的天数（java, mysql, oracle）
摘要： java方式：Calendar cal = Calendar.getInstance();cal.set(Calendar.YEAR,year);cal.set(Calendar.MONTH,month+1);//2月int maxDate = cal.getActualMaximum(Calend... 阅读全文
posted @ 2014-11-22 16:12 晋心 阅读(567) 评论(0) 推荐(0) 编辑
orcale和hive常用函数对照表（？代表未证实）
摘要： 函数分类oraclehive说明字符函数upper（'coolszy'）upper(stringA)ucase(stringA)将文本字符串转换成字母全部大写形式lower（'KUKA'）lower(stringA)lcase(stringA)将文本字符串转换成字母全部小写形式initca... 阅读全文
posted @ 2014-11-22 16:04 晋心 阅读(4514) 评论(0) 推荐(0) 编辑
ubuntu网络设置及遇到问题
摘要： 1.在ubuntu下面显示有线网络设备未托管解决：在ubuntu下面输入：sudo gedit /etc/NetworkManager/nm-system-settings.conf然后将里面的选项中的false改为true，重启计算机。2.不能ping域名，但可以ping IP,因为域名无法解析解... 阅读全文
posted @ 2014-11-22 15:43 晋心 阅读(456) 评论(0) 推荐(0) 编辑
命令行下编译Wordcount
摘要： 1. 编辑WordCount.java文件，在下载的hadoop安装包里有WordCount的例子http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz2. 把WordCount编译成一个jar... 阅读全文
posted @ 2014-11-22 15:31 晋心 阅读(518) 评论(0) 推荐(0) 编辑
2014年11月18日
ubuntu追加磁盘空间
摘要： 在用wubi安装的时候，按默认的是20G空间，明显不够用，从Windows上追加空间首先用win7自带的磁盘分区工具，从任意一个空余空间较多的磁盘划出一块新分区（无损数据）（如NTFS），作为ubuntu新增空间所用。计算机——管理——磁盘管理——磁盘0——选中哪块分区，右键——压缩卷——等待分出一... 阅读全文
posted @ 2014-11-18 21:09 晋心 阅读(5064) 评论(0) 推荐(0) 编辑
2014年11月16日
hadoop/storm以及hive/hbase/pig区别整理
摘要： STORM与HADOOP的比较对于一堆时刻在增长的数据，如果要统计，可以采取什么方法呢？等数据增长到一定程度的时候，跑一个统计程序进行统计。适用于实时性要求不高的场景。如将数据导到HDFS，再运行一个MAP REDUCE JOB。如果实时性要求高的，上面的方法就不行了。因此就带来第二种方法。在数据每... 阅读全文
posted @ 2014-11-16 21:01 晋心 阅读(687) 评论(0) 推荐(0) 编辑
2014年11月15日
hive上mysql元数据库配置
摘要： hive调试信息显示模式：./hive -hiveconf hive.root.logger=DEBUG,console非常有用。默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL... 阅读全文
posted @ 2014-11-15 21:20 晋心 阅读(12802) 评论(1) 推荐(0) 编辑
ubuntu常用命令操作
摘要： 建立文件夹软链接 ln -s 源文件 目标文件 当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在其它的目录下用ln命令链接（link）它就可以，不必重复的占用磁盘空间，只生成目标文件的一个镜像。 例如：ln ... 阅读全文
posted @ 2014-11-15 21:17 晋心 阅读(160) 评论(0) 推荐(0) 编辑