摘要: 本章分享的目录: 1:执行 第一节:运行方式 2:优化 第二节:hive优化 第一节:hive运行方式 (1):命令行:cli:不是特别常用 与hdfs交互(执行执行dfs命令): 例:dfs –ls / 与Linux交互(!开头): 例: !pwd (2):脚本运行:应用做多的 hive -e " 阅读全文
posted @ 2020-01-09 15:45 bug修复中 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 本章分享的目录: 1:表操作之插入、查询 第一节:hive DML (1) 插入数据 (2) 查询数据 1、内置运算符 2、内置函数 3、自定义函数 4、Lateral view 第一节:hive DML 一:插入数据 (1):从表查数据插入到hive表(A表中id,name插入B表) from A 阅读全文
posted @ 2020-01-09 15:26 bug修复中 阅读(236) 评论(0) 推荐(0) 编辑
摘要: 本章分享的目录: 1:表操作之表创建 第一节:hive DDL (1) 建表方式 (2) 普通建表 (3) 动态分区表 (4) 视图 (5) 索引 第一节:hive DDL(数据库/表的创建) 一:建表方式 (1) 第一种 creat: CREATE TABLE person( id INT, na 阅读全文
posted @ 2020-01-09 15:10 bug修复中 阅读(218) 评论(0) 推荐(0) 编辑
摘要: 本章分享的目录: 1:基础 第一节:简介与原理 2:设置用户及权限赋予 第二节:角色权限 3:安装 ,配置,连接 第三节:部署hive 4:参数动态设置 第四节:hive参数设置 第一节:简介与原理 简介: 数据仓库,对海量数据的离线处理(以HiveQL的形式,生成MR任务); 核心组件: 解释器, 阅读全文
posted @ 2020-01-09 14:36 bug修复中 阅读(248) 评论(0) 推荐(0) 编辑
摘要: 前言:随着数据量的不断增大,传统数据库的存储查询出现瓶颈,比如mysql采用分库分表的形式。 一:简介 1. 概念:分布式的列式数据库。 2. 基本概念: 2.1 RowKey:一行数据的唯一标识(主键)。 2.2 Column Family(列族):在定义表时候就定义完成,代表一个文件夹下的数据( 阅读全文
posted @ 2020-01-09 11:25 bug修复中 阅读(289) 评论(0) 推荐(0) 编辑
摘要: 概述: 多线程的使用,锁,线程池,更多的锁。 1:多线程的使用。 1.1:使用多线程需要保证:原子性,可见性,有序性。 1.2:启动多线程的方法:(不做 多余赘述,写两种常见的方式) 继承Thread类,重写run方法。 实现Runnable接口,重写run方法。 1.3:这里引出一个方法 join 阅读全文
posted @ 2020-01-07 19:46 bug修复中 阅读(397) 评论(0) 推荐(0) 编辑
摘要: 概述:本章简述自定义注解及实现,写完会对IOC与AOP有深刻的理解。感觉注解不再神秘。 1:理解:从简单的应用层面来说,分2步。 第一步:定义一个注解,这个注解中可以有不同的属性。可以理解是我要带的参数。 第二步:写一个拦截,即AOP。拦截请求,然后判断是否存在这个注解,如果存在我们可以写我们的逻辑 阅读全文
posted @ 2020-01-07 11:26 bug修复中 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 概述:本章进行filebeat --> kafka --> logstash --> es的数据传输过程,及kibana对es数据的显示控制。 1:搭建filebeat读取日志文件信息,写入kafka。(版本与es一致) 1.1:配置文件 1.2:启动 ./filebeat -e -c filebe 阅读全文
posted @ 2020-01-07 10:02 bug修复中 阅读(709) 评论(0) 推荐(0) 编辑
摘要: 前释:此为结合项目中的应用场景自己想的开发方案,项目在自己本机搭建,自定义模拟数据(不是海量数据)。 1:应用背景。 全国300多城市的小区,及多方发布的房源数据的一个检索功能。 全国的房源小区数据搜索。(多条件模糊查询,经纬度查询) 2:技术实现:ELK(elasticSearch+logstas 阅读全文
posted @ 2020-01-06 19:42 bug修复中 阅读(2077) 评论(0) 推荐(0) 编辑
摘要: 1:概述:之前随笔中记录了创建springCloud的概述,那个概述是在学习springCloud及搭建过程中写出来的。 2:说明1:我用的eclipse创建的springboot项目(在eclipse中安装了springboot插件,可以直接创建springboot项目,这样做的原因是不用担心ja 阅读全文
posted @ 2020-01-06 17:19 bug修复中 阅读(2804) 评论(0) 推荐(0) 编辑