随笔分类 -  1 大数据:Hive

查询语句,在Hive版本3.1.0中执行报错,在Hive版本3.1.2中执行成功
摘要:第3条语句执行查询,在Hive版本3.1.0中执行报错:Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Map 阅读全文

posted @ 2024-04-02 17:53 cag2050 阅读(92) 评论(0) 推荐(0) 编辑

Hive的分区
摘要:在下面的代码中,我们创建了名为emp的分区表,使用关键字partitioned by: create table emp( name string, age int ) partitioned by (provice string,city string); 在这里,用partitioned by指 阅读全文

posted @ 2023-09-16 13:27 cag2050 阅读(42) 评论(0) 推荐(0) 编辑

Hive的ConfigurationProperties
摘要:Version Information Hive 0.14.0 adds new parameters to the default white list (see HIVE-8534). Hive 1.1.0 removes some parameters (see HIVE-9331). Hiv 阅读全文

posted @ 2023-09-15 14:04 cag2050 阅读(4) 评论(0) 推荐(0) 编辑

hive中,View Expanded Text 与 View Original Text 区别
摘要:hive元数据表结构:https://blog.51cto.com/caiguangguang/1353872 查询语句:desc formatted 表名或view名 VIEW_ORIGINAL_TEXT 是创建view时输入的sql,而VIEW_EXPANDED_TEXT是对sql进行规范化之后 阅读全文

posted @ 2021-03-01 15:02 cag2050 阅读(402) 评论(0) 推荐(0) 编辑

hive表插入列时,必须按照列的顺序一对一写插入的字段
摘要:hive表插入列时,必须按照列的顺序一对一写插入的字段 阅读全文

posted @ 2020-12-15 21:27 cag2050 阅读(684) 评论(0) 推荐(0) 编辑

sql函数split在presto、spark、hive中的不同
摘要:执行此sql:select split('85076|0','\\|')[0],结果如下表: 查询引擎 结果 presto 85076|0 spark 85076 hive 85076 阅读全文

posted @ 2020-11-20 19:40 cag2050 阅读(3394) 评论(0) 推荐(0) 编辑

字段类型为:map<string,string> 时,查询取值(必须使用单引号)
摘要:举例: field字段类型为:map<string,string>,里面有key为extra(必须使用单引号) select field['extra'] from your_table_name where 分区限制 阅读全文

posted @ 2020-11-18 13:59 cag2050 阅读(1872) 评论(0) 推荐(0) 编辑

Hive 和 Parquet 底层文件存储类型,不一样
摘要:资料 网址 hive doesn't change parquet schema https://stackoverflow.com/questions/36085891/hive-doesnt-change-parquet-schema HIVE底层文件存储类型PARQUET https://ww 阅读全文

posted @ 2020-09-25 01:32 cag2050 阅读(302) 评论(0) 推荐(0) 编辑

Hive 中,CHANGE COLUMN 和 REPLACE COLUMNS 的区别(不明白,待补充)
摘要:资料 网址 Alter Column https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterColumn 参考资料: 存储信息存放在了表的元数据信息中。当对表执行一个SEL 阅读全文

posted @ 2020-09-24 18:20 cag2050 阅读(2271) 评论(0) 推荐(0) 编辑

Hive 学习资料
摘要:Hive 学习资料 网址 Apache Hive 中文手册 https://www.docs4dev.com/docs/zh/apache-hive/3.1.1/reference Hive 配置属性(官方英文) https://cwiki.apache.org/confluence/display 阅读全文

posted @ 2020-09-23 21:32 cag2050 阅读(175) 评论(0) 推荐(0) 编辑

重要:1. hive查询时,先看表格元数据是怎样分区的,然后在where里写分区条件,否则会查询出错;2. 在Where条件中使用变量时,Hive查询会非常慢
摘要:重要: hive查询时,先看表格元数据是怎样分区的,然后在where里写分区条件,否则会查询出错; 在Where条件中使用变量时,Hive查询会非常慢( https://stackoverflow.com/questions/33369488/hive-query-runs-very-slowly- 阅读全文

posted @ 2020-08-13 08:39 cag2050 阅读(477) 评论(0) 推荐(0) 编辑

Hive 读书札记
摘要:把数据从一个关系型数据库直接导入 Hive,使用 Sqoop。 阅读全文

posted @ 2019-12-22 16:16 cag2050 阅读(141) 评论(0) 推荐(0) 编辑

SQL-on-Hadoop 技术
摘要:SQL on Hadoop 技术 | 备注 | Apache Hive | Cloudera Impala | Facebook Presto | Apache Drill | Spark SQL | Apache Phoenix | 出处:书籍《Hadoop权威指南:大数据的存储与分析(第4版)》 阅读全文

posted @ 2019-12-19 23:51 cag2050 阅读(383) 评论(0) 推荐(0) 编辑

hive 安装、知识点
摘要:* hive 查询语句: 语句 | 含义 | show databases; 或 show schemas; | 查看数据库 show tables; | hive显示所有表 set; | 查看hive配置信息 show create table table_name; 或者 desc format 阅读全文

posted @ 2017-12-03 23:13 cag2050 阅读(178) 评论(0) 推荐(0) 编辑

导航

点击右上角即可分享
微信分享提示