数据驱动

2020年6月22日

摘要：一、简述 Hbase 作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase 中，统计数据表的总行数，需要使用 Counter 方法，执行一次 MapReduce Job 才能得到。虽然 HBase 在数据存储层阅读全文

posted @ 2020-06-22 22:57 数据驱动阅读(846) 评论(0) 推荐(0) 编辑

大数据基础---Hbase 过滤器详解

摘要：一、HBase过滤器简介 Hbase 提供了种类丰富的过滤器（filter）来提高数据处理的效率，用户可以通过内置或自定义的过滤器来对数据进行过滤，所有的过滤器都在服务端生效，即谓词下推（predicate push down）。这样可以保证过滤掉的数据不会被传送到客户端，从而减轻网络传输和客户端处阅读全文

posted @ 2020-06-22 18:50 数据驱动阅读(793) 评论(0) 推荐(0) 编辑

2020年6月21日

大数据基础---Hive数据查询详解

摘要：一、数据准备为了演示查询操作，这里需要预先创建三张表，并加载测试数据。数据文件 emp.txt 和 dept.txt 可以从本仓库的resources 目录下载。 1.1 员工表 -- 建表语句 CREATE TABLE emp( empno INT, -- 员工表编号 ename STRING 阅读全文

posted @ 2020-06-21 23:38 数据驱动阅读(1604) 评论(0) 推荐(0) 编辑

大数据基础---Hive常用DML操作

摘要： Hive 常用DML操作一、加载文件数据到表 1.1 语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] LOC 阅读全文

posted @ 2020-06-21 17:33 数据驱动阅读(552) 评论(0) 推荐(0) 编辑

大数据基础---Hive视图和索引

摘要：一、视图 1.1 简介 Hive 中的视图和 RDBMS 中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条 SELECT 语句的结果集。视图是纯粹的逻辑对象，没有关联的存储 (Hive 3.0.0 引入的物化视图除外)，当查询引用视图时，Hive 可以将视图的定义与查询结合起来，例如将查询中阅读全文

posted @ 2020-06-21 16:18 数据驱动阅读(525) 评论(0) 推荐(0) 编辑

大数据基础---Hive分区表和分桶表

摘要：一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找，而不是扫描整个表目录，合阅读全文

posted @ 2020-06-21 14:55 数据驱动阅读(1002) 评论(0) 推荐(0) 编辑

大数据基础---Hive常用DDL操作

摘要：一、Database 1.1 查看数据列表 show databases; 1.2 使用数据库 USE database_name; 1.3 新建数据库语法： CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCH 阅读全文

posted @ 2020-06-21 14:05 数据驱动阅读(489) 评论(0) 推荐(0) 编辑

大数据基础---HiveCLI和Beeline命令行的基本使用

摘要：一、Hive CLI 1.1 Help 使用 hive -H 或者 hive --help 命令可以查看所有命令的帮助，显示如下： usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. 阅读全文

posted @ 2020-06-21 11:07 数据驱动阅读(1348) 评论(0) 推荐(0) 编辑

2020年6月9日

大数据基础---Elasticsearch搭建与应用

摘要：项目版本构建需要： JDK1.7 Elasticsearch2.2.1 junit4.10 log4j1.2.17 spring-context3.2.0.RELEASE spring-core3.2.0.RELEASE spring-beans3.2.0.RELEASE spring-web3. 阅读全文

posted @ 2020-06-09 16:36 数据驱动阅读(426) 评论(0) 推荐(0) 编辑

2020年6月4日

大数据基础---Elasticsearch是什么？

摘要： Elasticsearch是谁不重要，重要的是咱们都知道百度，谷歌这样的搜索巨头吧。它们的核心技术都利用了Elasticsearch，所以我们有必要对Elasticsearch了解下！ 1.Elasticsearch简介 1.1 百度百科这样说 Elasticsearch是一个基于Lucense的搜阅读全文

posted @ 2020-06-04 20:15 数据驱动阅读(3979) 评论(0) 推荐(0) 编辑

公告