随笔分类 -  HDInsight

hive算法报错..
摘要：hive普通语句查询报错.. 查到以下设定项,,附加在语句前执行成功.. 但是有可能没有真正的执行.. 试到最后使用标红的三行附加在语法前执行成功 先存档.. 后边再整理.. 找到的连接: https://community.hortonworks.com/questions/105364/vert 阅读全文
posted @ 2018-12-12 20:11 代码工人有力量 阅读(482) 评论(0) 推荐(0)
Hive中 使用 Round() 的坑
摘要：有个算法如下: 使用round()函数来规范Sum()后的值.. 算法并不复杂..但一直报错.. 并没有具体错误的报文.. ExitValue 为 2 后来偶然把Round去掉..跑通了..返回码0 百思不得其解.. 有路过大神希望能解释下.. 有同样算法的童鞋请尝试去除round再试..找到原因请 阅读全文
posted @ 2017-03-02 10:46 代码工人有力量 阅读(12158) 评论(0) 推荐(0)
[转]Hive 数据类型
摘要：Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。其中，基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DAT 阅读全文
posted @ 2017-02-28 17:03 代码工人有力量 阅读(649) 评论(0) 推荐(0)
[转] Hive函数大全
摘要：1.内置运算符 1.1关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为无效的语法。 SQL使用”=”，不使用”==”。 A <> B 所有原始类型 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为” 阅读全文
posted @ 2017-02-28 16:57 代码工人有力量 阅读(2416) 评论(0) 推荐(0)
使用Hive Rest API 连接HDInsight
摘要：以下连接是微软最新的关于HDInsight中Hive命令的RestAPI示例地址.. 使用 HDInsight .NET SDK 运行 Hive 查询 请使用接口有异常的同学检查是否使用的是下面地址中的一版.. https://msdn.microsoft.com/en-us/library/mic 阅读全文
posted @ 2017-02-28 16:55 代码工人有力量 阅读(1189) 评论(0) 推荐(0)
Hive动态分区 参数配置及语法
摘要：Hive本身是不支持动态分区的.. 但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..? 想要用动态分区要先做一些设置来修改默认的配置.. 可以直接把上述设置项在控制台中运行一下..以后就可以自由动态分区了.. 建立分区表的语法. 插入 阅读全文
posted @ 2017-02-28 16:46 代码工人有力量 阅读(21836) 评论(0) 推荐(0)
Hive时间操作[转]
摘要：时间字段格式化 日期函数UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数） 阅读全文
posted @ 2016-06-23 18:04 代码工人有力量 阅读(443) 评论(0) 推荐(0)
kettle参数、变量详细讲解[转]
摘要：kettle 3.2 以前的版本里只有 variable 和 argument，kettle 3.2 中，又引入了 parameter 概念；variable 即environment variables（环境变量或全局变量），即使是不同的转换它们也拥有同样的值；而argument（位置参数）和pa 阅读全文
posted @ 2016-06-04 18:10 代码工人有力量 阅读(2059) 评论(0) 推荐(0)
Hbase过滤器Filter的使用心得(爬坑经验)
摘要：Hbase 的过滤器是个好东西.. 给这种非关系型数据库本来不能复杂查询的情况得到了很好的扩展..提供了很多的帮助.. 但是Filter的种类何其之多..让人眼花缭乱.. 譬如..分页类型的PageFilter 是必要的一种过滤器.. 另外根据其他条件..比如时间..比如关键字的过滤..都是常用的. 阅读全文
posted @ 2016-05-20 21:50 代码工人有力量 阅读(5642) 评论(2) 推荐(0)
HBase中批量修改
摘要：先随便写写..做个随笔记录 使用Rest连接操作Hbase.. 是微软提供的 Microsoft.Hbase.Client 类库.. 版本是0.4.1.0 一直知道 client.StoreCellsAsync 方法是可以添加也可以覆盖已有数据.. 其实不是这么简单.. 机缘巧合下测试发现修改一次只 阅读全文
posted @ 2016-05-20 20:34 代码工人有力量 阅读(1156) 评论(0) 推荐(0)
HBase中的压缩算法比较 GZIP、LZO、Zippy、Snappy [转]
摘要：网址: http://www.cnblogs.com/panfeng412/archive/2012/12/24/applications-scenario-summary-of-compression-algorithms.html GZIP、LZO、Zippy/Snappy是常用的几种压缩算法， 阅读全文
posted @ 2016-05-11 17:28 代码工人有力量 阅读(7813) 评论(0) 推荐(2)
HBase命令(三) -- 增删改查
摘要：新增 删除 查询 阅读全文
posted @ 2016-05-03 13:48 代码工人有力量 阅读(3432) 评论(0) 推荐(0)
HBase命令(二) -- 表操作
摘要：创建表 查询 修改表结构 删除 表重命名 阅读全文
posted @ 2016-05-03 09:49 代码工人有力量 阅读(1326) 评论(0) 推荐(0)
HBase命令(一) -- 库操作
摘要：打开数据库 Rest接口开启 用户和权限 阅读全文
posted @ 2016-04-28 18:20 代码工人有力量 阅读(690) 评论(0) 推荐(0)
(HBase) Error: JAVA_HOME is not set and Java could not be found
摘要：请查看Linux系统环境变量 JAVA_HOME 是否设置.. 两种方法 或者 没有的话则重新设置 如果都设置了.. 请看下HBase目录下的conf/hbase-env.sh 打开设置 JAVA_HOME变量..同你的环境变量一样 并且保证这一行配置前边的#号被删掉.. 阅读全文
posted @ 2016-04-28 17:41 代码工人有力量 阅读(2745) 评论(0) 推荐(0)
HDInsight 指定输出目录 insert overwrite
摘要：基本语法 可以格式化输出 也可以导出到远程HDFS 切记: 查询结果放置在本地时..可以使用 来格式化输出的结果.. 如果输出目录是远程的地址 HDFS 路径..则不允许使用格式化方式输出 注意： 导出到本地可以通过ROW FORMAT来设置分隔符,导出到HDFS是不能设置分隔符的； 另外要注意的是 阅读全文
posted @ 2016-04-26 13:13 代码工人有力量 阅读(795) 评论(0) 推荐(0)
HDInsight 路径问题
摘要：HDInsight中..上传文件的路径是要区分大小写的.. 很变态吧.. 所以项目中要求全部路径使用小写.. 阅读全文
posted @ 2016-04-26 10:22 代码工人有力量 阅读(159) 评论(0) 推荐(0)
hive odbc
摘要：C:\Windows\SysWOW64 阅读全文
posted @ 2016-04-25 10:00 代码工人有力量 阅读(278) 评论(0) 推荐(0)