摘要: 在hive的查询中,大部分都会出发一个MapReduce操作,但是在hive中,某些情况可以不必使用MapReduce,也就是所谓的本地操作模式。 如图是执行MapReduce的过程。 1.当时用select * from tableName情况下,Hive可以简单的读取table对应的存储目录下的 阅读全文
posted @ 2017-12-28 10:46 飞鸿踏雪泥xp 阅读(2984) 评论(0) 推荐(0) 编辑
摘要: 如果是mysql数据库,那么直接将now()值插入数据库即可,如果testDate表的datevalue字段的数据类型是date,则如下: 但是oracle中直接这样,是会报错的,那么我们用如下方法,我这里总结下: 阅读全文
posted @ 2017-11-30 20:25 飞鸿踏雪泥xp 阅读(10399) 评论(0) 推荐(0) 编辑
摘要: ROW_NUMBER() OVER(partition by col1 order by col2) 表示根据col1分组,在分组内部根据col2排序,而此函数计算的值就表示每组内部排序后的顺序编号(组内是连续且唯一的) 具体说明下: 在testTable表中有如下数据: 通过row_number( 阅读全文
posted @ 2017-11-30 20:08 飞鸿踏雪泥xp 阅读(1463) 评论(0) 推荐(0) 编辑
摘要: 一、拼接字符串 1、使用“||”来拼接字符串: 2、使用concat(param1,param2)函数实现: 注:oracle的concat()方法只支持两个参数,如果拼接多个参数,可以嵌套concat(): 二、截取字符串 SUBSTR(string,start_position,[length] 阅读全文
posted @ 2017-11-30 18:10 飞鸿踏雪泥xp 阅读(70338) 评论(0) 推荐(2) 编辑
摘要: HDFS文件系统: HDFS 是存取数据的分布式文件系统,那么对 HDFS 的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于 lLinux 的 shell 对文件的操作,如 ls、mkdir、rm 等。 我们执行以下操 阅读全文
posted @ 2017-11-21 16:03 飞鸿踏雪泥xp 阅读(2389) 评论(0) 推荐(0) 编辑
摘要: Map是由key-value的键值对组成的一组数据结构,Json也是由键值对组成的,这两种数据结构之间转换有很多种方法,我先总结一种由谷歌提供的Gson包转的方法。第一步:将Gson包引入到java项目中;将Gson包添加到java工程的lib文件夹下面,右键选择“add build path”添加 阅读全文
posted @ 2017-10-27 15:17 飞鸿踏雪泥xp 阅读(3456) 评论(0) 推荐(0) 编辑
摘要: 一、认识java Reflection反射机制 Java Reflecation的定义 Reflection(反射)被视为动态语言的关键,反射机制允许程序在执行期借助于Reflection API取得任何类的内部信息,并能直接操作任意对象的内部属性和方法。 Java反射机制提供的功能 1、在运行时判 阅读全文
posted @ 2017-10-13 10:46 飞鸿踏雪泥xp 阅读(292) 评论(0) 推荐(0) 编辑
摘要: 在两个JSP代码片中有这样两端程序: JSP1代码 JSP2代码 但是,问题来了:为什么JSP2 中test获取不到呢? 其实那就要从request的生命周期或者是说作用范围说起了,setAttribute()用来在同一个request周期中保存变量使用。 比如servlet调用后,引出JSP页面, 阅读全文
posted @ 2017-10-09 10:55 飞鸿踏雪泥xp 阅读(19917) 评论(0) 推荐(0) 编辑
摘要: 需要加入两个jar包: commons-beanutils-1.9.3.jar commons-logging-1.2.jar 使用方法: 给对象的属性赋值:BeanUtils.setProperty(entity, fieldName, value); 从对象的属性中取值:BeanUtils.ge 阅读全文
posted @ 2017-09-23 22:15 飞鸿踏雪泥xp 阅读(1186) 评论(0) 推荐(0) 编辑
摘要: 以mysql的jdbcUrl为例: 1、对于 Oracle 数据库连接,采用如下形式: jdbc:oracle:thin:@localhost:1521:sid 2、对于 SQLServer 数据库连接,采用如下形式:jdbc:microsoft:sqlserver//localhost:1433; 阅读全文
posted @ 2017-09-04 18:05 飞鸿踏雪泥xp 阅读(463) 评论(0) 推荐(0) 编辑