hiveql函数笔记（二）
摘要：1、数据查询 //提高聚合的性能 SET hive.map.aggr=true; SELECT count(*),avg(salary) FROM employees; //木匾不允许在一个查询语句中使用多于一个的函数（DISTINCT。。。）表达式 SELECT count(DISTINCT sy
阅读全文
posted @
2017-03-19 16:19
松伯
阅读(558)
推荐(0) 编辑
hiveql笔记（一）
摘要：1、创建表 create table if not exists mydb.employees{ name String COMMENT 'Employee name', salary FLOAT COMMENT 'Empolyee salary', subordinates APPAY<STRIN
阅读全文
posted @
2017-03-19 12:00
松伯
阅读(474)
推荐(0) 编辑
hdfs文件按修改时间下载
摘要：应用于：对于不同用户创建的表目录，进行文件的下载，程序中执行hadoop cat命令 下载文件到本地，随后通过ftp传至目标服务器，并将hdfs文件目录的修改时间存入mysql中。每次修改前将mysql中记录的数据，与本批次下载的HDFS文件路径修改时间对比，如果改变，则决定是否下载文件： 入口：
阅读全文
posted @
2017-03-06 16:32
松伯
阅读(518)
推荐(0) 编辑
