摘要: 这里是指java中执行hive或者hiveQL。 注意:而不是经常说的通过JDBC的方式连接Hiveserver2来执行查询。是在部署了hiveserver的服务器上执行hive命令。这样就可以将分析得结果写到文件中,不用一定在hive的命令行client下执行。String sql="show... 阅读全文
posted @ 2014-11-22 16:38 晋心 阅读(854) 评论(0) 推荐(0) 编辑
摘要: 一次执行多条SQL的技术要点如下:DatabaseMetaData接口是描述有关数据库的整体综合信息,由于DatabaseMetaData是接口,所以没有构造方法,故不能使用new来创建DatabaseMetaData对象,但是可以通过Connection的getMetaData()方法创建。例如:... 阅读全文
posted @ 2014-11-22 16:32 晋心 阅读(46003) 评论(1) 推荐(6) 编辑
摘要: java方式:Calendar cal = Calendar.getInstance();cal.set(Calendar.YEAR,year);cal.set(Calendar.MONTH,month+1);//2月int maxDate = cal.getActualMaximum(Calend... 阅读全文
posted @ 2014-11-22 16:12 晋心 阅读(567) 评论(0) 推荐(0) 编辑
摘要: 函数分类oraclehive说明字符函数upper('coolszy')upper(stringA)ucase(stringA)将文本字符串转换成字母全部大写形式lower('KUKA')lower(stringA)lcase(stringA)将文本字符串转换成字母全部小写形式initca... 阅读全文
posted @ 2014-11-22 16:04 晋心 阅读(4476) 评论(0) 推荐(0) 编辑
摘要: 1.在ubuntu下面显示有线网络设备未托管解决:在ubuntu下面输入:sudo gedit /etc/NetworkManager/nm-system-settings.conf然后将里面的选项中的false改为true,重启计算机。2.不能ping域名,但可以ping IP,因为域名无法解析解... 阅读全文
posted @ 2014-11-22 15:43 晋心 阅读(434) 评论(0) 推荐(0) 编辑
摘要: 1. 编辑WordCount.java文件,在下载的hadoop安装包里有WordCount的例子http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz2. 把WordCount编译成一个jar... 阅读全文
posted @ 2014-11-22 15:31 晋心 阅读(515) 评论(0) 推荐(0) 编辑
摘要: 在用wubi安装的时候,按默认的是20G空间,明显不够用,从Windows上追加空间首先用win7自带的磁盘分区工具,从任意一个空余空间较多的磁盘划出一块新分区(无损数据)(如NTFS),作为ubuntu新增空间所用。计算机——管理——磁盘管理——磁盘0——选中哪块分区,右键——压缩卷——等待分出一... 阅读全文
posted @ 2014-11-18 21:09 晋心 阅读(5032) 评论(0) 推荐(0) 编辑
摘要: STORM与HADOOP的比较对于一堆时刻在增长的数据,如果要统计,可以采取什么方法呢?等数据增长到一定程度的时候,跑一个统计程序进行统计。适用于实时性要求不高的场景。如将数据导到HDFS,再运行一个MAP REDUCE JOB。如果实时性要求高的,上面的方法就不行了。因此就带来第二种方法。在数据每... 阅读全文
posted @ 2014-11-16 21:01 晋心 阅读(682) 评论(0) 推荐(0) 编辑
摘要: hive调试信息显示模式:./hive -hiveconf hive.root.logger=DEBUG,console非常有用。默认情况下,Hive元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试。为了支持多用户多会话,则需要一个独立的元数据库,我们使用 MySQL... 阅读全文
posted @ 2014-11-15 21:20 晋心 阅读(12787) 评论(1) 推荐(0) 编辑
摘要: 建立文件夹软链接 ln -s 源文件 目标文件 当我们需要在不同的目录,用到相同的文件时,我们不需要在每一个需要的目录下都放一个必须相同的文件,我们只要在某个固定的目录,放上该文件,然后在其它的目录下用ln命令链接(link)它就可以,不必重复的占用磁盘空间,只生成目标文件的一个镜像。 例如:ln ... 阅读全文
posted @ 2014-11-15 21:17 晋心 阅读(159) 评论(0) 推荐(0) 编辑