摘要：NTILE(n) 用于将分组数据按照顺序切分成n片，返回当前记录所在的切片值 NTILE不支持ROWS BETWEEN，比如 NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CU
阅读全文
|
|
09 2017 档案
摘要：NTILE(n) 用于将分组数据按照顺序切分成n片，返回当前记录所在的切片值 NTILE不支持ROWS BETWEEN，比如 NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CU
阅读全文
摘要：1. oozie 调用sql文件的workflow 错误汇总： 1）hive2server密码错误。（有时设置可以无密码，有时需要登陆密码，有时是单独的hive2server密码） Connecting to jdbc:hive2://spark-02:10000/defaultError: Cou
阅读全文
摘要：转载自文章 http://www.cnblogs.com/davidwang456/p/5074108.html 安装完hadoop后，在hadoop的bin目录下有一系列命令： 知道这些命令有助于理解hadoop的概念，命令如下： 1. hadoop 命令帮助 1.1 hadoop fs命令帮助
阅读全文
摘要：1. impala端创建的表，DROP。 hive会自动同步到。 但是通过hive DROP时，数据还会在，只是表的元数据没有了。 所以完全DROP表，需要impala端的DROP 2. impala 不支持 多个count(distinct ) 和udf 3. 在后台服务器连接impala-she
阅读全文
摘要：1. 常用 rcfile + gzip parquet + snappy 2. 压缩比，参考 如果是数据源的话，采用 RCFile+bz 或 RCFile+gz 的方式，这样可以很大程度上节省磁盘空间； 而在计算的过程中，为了不影响执行的速度，可以浪费一点磁盘空间，建议采用 RCFile+snapp
阅读全文
摘要：1. Mysql 把本地文件导入表中 默认txt为中文编码，在导入时转化为utf-8编码，就会避免乱码。
阅读全文
|
