上一页 1 2 3 4 5 6 7 8 9 ··· 12 下一页
摘要: Quick Start - Standalone HBase 1、简单配置 选择一个 Apache 下载镜像,下载 HBase Releases. 点击 stable目录,然后下载后缀为 .tar.gz 的文件; 例如 hbase-0.95-SNAPSHOT.tar.gz. 解压缩,然后进入到那个要 阅读全文
posted @ 2020-08-10 06:37 shaoyayu 阅读(319) 评论(0) 推荐(0) 编辑
摘要: HBase架构 HBase隶属于hadoop生态系统,它参考了谷歌的BigTable建模,实现的编程语言为 Java, 建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的range来检索数据,主要用来存储非结构化和半结构化的松散数 阅读全文
posted @ 2020-08-10 06:35 shaoyayu 阅读(317) 评论(0) 推荐(0) 编辑
摘要: HBase 入门 Hadoop中的HBase ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。 简介: 非关系型数据库知识面扩展 Cassandra hbase mongo 阅读全文
posted @ 2020-08-10 06:27 shaoyayu 阅读(140) 评论(0) 推荐(0) 编辑
摘要: Hive 优化 Hive优化 核心思想:把Hive SQL当做Mapreduce程序去优化 以下SQL不会转为Mapreduce来执行 select仅查询本表字段 where仅对本表字段做条件过滤 Explain显示执行计划 EXPLAIN [EXTENDED] query Hive抓取策略: Hi 阅读全文
posted @ 2020-08-10 06:24 shaoyayu 阅读(196) 评论(0) 推荐(0) 编辑
摘要: 查询语法 翻译版 原文:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select 选择语法 [WITH CommonTableExpression (, CommonTableExpression)*] (Note: 阅读全文
posted @ 2020-08-04 17:24 shaoyayu 阅读(809) 评论(0) 推荐(0) 编辑
摘要: Hive DDL 中文文档 总览 HiveQL DDL语句在此处记录,包括: 创建数据库/架构,表,视图,函数,索引 删除数据库/架构,表,视图,索引 截断表 ALTER DATABASE / SCHEMA,表格,视图 MSCK维修表(或更改表恢复分区) 显示数据库/架构,表,TBL属性,视图,分区 阅读全文
posted @ 2020-08-04 17:23 shaoyayu 阅读(407) 评论(0) 推荐(0) 编辑
摘要: HIVE DML 中文文档 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML 将文件加载到表中 Hive在将数据加载到表中时不会进行任何转换。加载操作当前是纯复制/移动操作,可将数据文件移动到与Hive表相对应的位 阅读全文
posted @ 2020-08-04 17:21 shaoyayu 阅读(225) 评论(0) 推荐(0) 编辑
摘要: Hive 其他 Hive Lateral View hive Lateral View Lateral View用于和UDTF函数(explode、 split) 结合来使用。 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表。 主要解决在select使用UDTF做查询过程中, 阅读全文
posted @ 2020-08-04 17:05 shaoyayu 阅读(169) 评论(0) 推荐(0) 编辑
摘要: Hive 运行方式、GUI接口和权限管理 Hive 运行方式 1、 命令行方式CLI :控制台方式 ​ 不光是可以执行HSQL命令,还可以执行DFS命令, 也可以执行本地系统命令,如 hive > ! ls / 2、脚本运行方式 (生产环境中应用很多) []$ hive -e "select * f 阅读全文
posted @ 2020-08-04 17:03 shaoyayu 阅读(546) 评论(0) 推荐(0) 编辑
摘要: Hive 分桶 1、hive分桶 分桶表是对列值取哈希值的方式,将不同数据放到不同文件中存储。 对于hive中每一 个表分区都可以进一 步进行分桶。 由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。 适用场景: 数据抽样(sampling ) 2、开启支持分桶 开启分桶 set hive.en 阅读全文
posted @ 2020-08-04 17:01 shaoyayu 阅读(270) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 12 下一页