摘要: Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic parti 阅读全文
posted @ 2018-01-29 15:31 跳出 阅读(9299) 评论(0) 推荐(0) 编辑
摘要: -- This example demonstrates Type 2 Slowly Changing Dimensions in Hive.-- Be sure to stage data in before starting (load_data.sh)drop database if exis 阅读全文
posted @ 2017-11-26 09:31 跳出 阅读(299) 评论(0) 推荐(0) 编辑
摘要: hive分组排序函数 分组取top10 语法:row_number() over( partition by 字段a order by 计算项b desc) rank --这里rank是别名 Partition by:类似hive的建表,分区的意思 这里按字段a分区,对计算项b进行降序排序 实例: 阅读全文
posted @ 2017-08-18 10:05 跳出 阅读(2000) 评论(0) 推荐(0) 编辑
摘要: 利用pig导出hbase文件为txt或者csv格式 如下例子,将hbase的表test导出文件为txt格式: [root@datacsu2 lilip]# vi loadData.pig source = LOAD 'hbase://test' USING org.apache.pig.backen 阅读全文
posted @ 2017-06-14 09:54 跳出 阅读(2163) 评论(0) 推荐(0) 编辑
摘要: Ubuntu下安装mysql 在有网的条件下,只需要几条非常简单的命令,在几分钟内即可完成: 1、 sudo apt-get install mysql-server 要求输入root用户下,设定一个密码 2、 sudo apt-get install mysql-client 3、 sudo ap 阅读全文
posted @ 2017-03-27 16:19 跳出 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 聚集索引与非聚集索引 参考链接: http://blog.sina.com.cn/s/blog_d13b2a8f0102wlj8.html http://jingyan.baidu.com/article/e73e26c0f1e82d24acb6a75d.html http://www.cnblog 阅读全文
posted @ 2017-03-24 16:13 跳出 阅读(677) 评论(0) 推荐(0) 编辑
摘要: 一、不同索引 1.1索引介绍 索引分单列索引和组合索引。单列索引,即一个索引只包含单个列,一个表可以有多个单列索引,但这不是组合索引。组合索引,即一个索包含多个列。创建索引时,你需要确保该索引是应用在SQL 查询语句的条件(一般作为WHERE 子句的条件)。实际上,索引也是一张表,该表保存了主键与索 阅读全文
posted @ 2017-03-24 15:11 跳出 阅读(247) 评论(0) 推荐(0) 编辑
摘要: Hive四种数据导入方式: 1) 从本地文件系统中导入数据到hive表; hive>load data local inpath 'mytable.txt' into table mytabl; 注意:和我们熟悉的关系型数据库不一样,Hive现在还不支持在insert语句里面直接给出一组记录的文字形 阅读全文
posted @ 2017-03-24 10:53 跳出 阅读(679) 评论(0) 推荐(0) 编辑
摘要: 1、创建表: hive>create table pokes(foo int,bar string); hive>create table new_tb like pokes; 创建一个一样的表结构 2、创建分区表: Hive>create table logs(ts bigint,line str 阅读全文
posted @ 2017-03-24 10:24 跳出 阅读(851) 评论(0) 推荐(0) 编辑
摘要: (1)Hive数据库 类似传统数据库的DataBase,在第三方数据库里实际是一张表。简单示例命令行 : hive > create database test_database (2)内部表 Hive的内部表与数据库中的Table在概念上是类似。每一个Table在Hive中都有一个相应的目录存储数 阅读全文
posted @ 2017-03-24 10:21 跳出 阅读(377) 评论(0) 推荐(0) 编辑