03 2021 档案

大数据Hive数据操纵语言DML
摘要：目录 1 背景：RDBMS中insert使用（insert+values）2 insert + select3 multiple ... 阅读全文
posted @ 2021-03-27 17:06 赵广陆 阅读(58) 评论(0) 推荐(0) 编辑
大数据Hive DML-Load加载数据
摘要：目录 1 背景2 Load语法2.1 filepath2.2 LOCAL2.3 OVERWRITE 3 案例：load加载数据到... 阅读全文
posted @ 2021-03-27 16:54 赵广陆 阅读(209) 评论(0) 推荐(0) 编辑
大数据Hive DDL其他语法
摘要：目录 1 Database|schema（数据库） DDL操作1.1 Create database1.2 Describe da... 阅读全文
posted @ 2021-03-27 12:16 赵广陆 阅读(52) 评论(0) 推荐(0) 编辑
大数据Hive DDL高阶建表
摘要：目录 1 Hive内、外部表1.1 什么是内部表1.2 什么是外部表1.3 内部表、外部表差异1.4 如何选择内部表、外部表 2... 阅读全文
posted @ 2021-03-27 10:28 赵广陆 阅读(139) 评论(0) 推荐(0) 编辑
大数据Hive数据定义语言DDL
摘要：目录 1 数据定义语言（DDL）概述1.1 DDL语法的作用1.2 Hive中DDL使用 2 Hive DDL建表基础2.1 完... 阅读全文
posted @ 2021-03-27 09:55 赵广陆 阅读(132) 评论(0) 推荐(0) 编辑
大数据Hive入门案例
摘要：目录 1 体验1：Hive使用起来和Mysql差不多吗？1.1 背景1.2 过程1.3 验证1.4 结论 2 体验2：如何才能将... 阅读全文
posted @ 2021-03-27 09:46 赵广陆 阅读(80) 评论(0) 推荐(0) 编辑
大数据Hive安装部署
摘要：目录 1 元数据相关名词1.1 Metadata1.2 Metastore 2 metastore三种配置方式2.1 内嵌模式2... 阅读全文
posted @ 2021-03-27 09:26 赵广陆 阅读(60) 评论(0) 推荐(0) 编辑
Collections.singletonMap()用法
摘要：1 Collections.singletonMap()用法 Collections.singletonMap()用于返回单集合 s... 阅读全文
posted @ 2021-03-17 11:13 赵广陆 阅读(360) 评论(0) 推荐(0) 编辑
Hbase+ES和MongoDB存储大数据的选用
摘要：目录 1 需求2 架构设计3 HBase和MongoDB的区别 1 需求 解决海量数据的存储，并且能够实现海量数据的秒级查询 Hb... 阅读全文
posted @ 2021-03-16 23:20 赵广陆 阅读(388) 评论(0) 推荐(0) 编辑
大数据Flink流处理相关概念
摘要：目录 1 数据的时效性2 流处理和批处理3 流批一体API 1 数据的时效性 日常工作中，我们一般会先把数据存储在表，然后对表的... 阅读全文
posted @ 2021-03-14 22:57 赵广陆 阅读(53) 评论(0) 推荐(0) 编辑
Kettle可视化ETL工具快速入门
摘要：目录 1 可视化ETL工具-Kettle入门1.1 Kettle介绍1.2 Kettle安装、配置1.2.1 Kettle入门案例... 阅读全文
posted @ 2021-03-14 22:53 赵广陆 阅读(288) 评论(0) 推荐(0) 编辑
大数据技Flume快速入门
摘要：目录 1 Flume 定义2 Flume 基础架构2.1 Agent2.2 Source2.3 Sink2.4 Channel2.... 阅读全文
posted @ 2021-03-14 22:50 赵广陆 阅读(39) 评论(0) 推荐(0) 编辑
大数据同步工具Canal
摘要：目录 1 什么是canal2 canal能做什么3 如何搭建canal3.1 首先有一个MySQL服务器3.2 安装canal ... 阅读全文
posted @ 2021-03-14 19:24 赵广陆 阅读(522) 评论(0) 推荐(0) 编辑
大数据Spark外部数据源
摘要：目录 1 HBase 数据源1.1 HBase Sink1.2 HBase Source 2 MySQL 数据源3 SHC 操作... 阅读全文
posted @ 2021-03-14 19:20 赵广陆 阅读(166) 评论(0) 推荐(0) 编辑
大数据Hive基本介绍
摘要：目录 1 数据仓库概念2 场景案例：数据仓库为何而来？2.1 操作型记录的保存2.2 分析型决策的制定2.3 OLTP 环境开展分... 阅读全文
posted @ 2021-03-14 18:36 赵广陆 阅读(126) 评论(0) 推荐(0) 编辑
大数据MapReduce统计单词实例
摘要：目录 1 梳理单词计数的执行流程2 实战WordCount3 web界面中查看任务执行情况 1 梳理单词计数的执行流程 上面的... 阅读全文
posted @ 2021-03-14 18:20 赵广陆 阅读(92) 评论(0) 推荐(0) 编辑
大数据MapReduce入门
摘要：目录 1 MapReduce 定义1.1 谷歌解决场景1.2 PageRank的思想 2 MapReduce介绍3 分布式计算介... 阅读全文
posted @ 2021-03-14 18:01 赵广陆 阅读(43) 评论(0) 推荐(0) 编辑
大数据HDFS体系结构
摘要：目录 1 HDFS 概述1.1 HDFS 产出背景及定义1.2 HDFS 优缺点1.3 新框架的学习方法 2 HDFS体系结构2... 阅读全文
posted @ 2021-03-14 17:25 赵广陆 阅读(208) 评论(0) 推荐(0) 编辑
大数据Hadoop概述
摘要：目录 1 Hadoop 概述1.1、 Hadoop的介绍1.1 Hadoop 是什么1.2 Hadoop 发展历史1.2.1 Go... 阅读全文
posted @ 2021-03-14 11:02 赵广陆 阅读(260) 评论(0) 推荐(0) 编辑
大数据技术之Shell
摘要：目录 1 Shell概述2 Shell解析器3 Shell脚本入门4 Shell中的变量4.1 系统变量4.2 自定义变量4.3 ... 阅读全文
posted @ 2021-03-14 10:27 赵广陆 阅读(58) 评论(0) 推荐(0) 编辑
大数据HBase调优
摘要：目录 1 高可用2 预分区3 RowKey 设计4 内存优化5 基础优化 1 高可用 在 HBase 中 HMaster 负责监... 阅读全文
posted @ 2021-03-13 23:12 赵广陆 阅读(32) 评论(0) 推荐(0) 编辑
大数据HBase JavaAPI操作
摘要：目录 1 环境准备2 HBaseAPI2.1 获取 Configuration 对象2.2 判断表是否存在2.3 创建表2.4 删... 阅读全文
posted @ 2021-03-13 23:04 赵广陆 阅读(43) 评论(0) 推荐(0) 编辑
大数据HBase体系结构
摘要：目录 1 架构原理2 写流程3 MemStore Flush4 读流程5 StoreFile Compaction6 Region... 阅读全文
posted @ 2021-03-13 22:52 赵广陆 阅读(46) 评论(0) 推荐(0) 编辑
大数据HBase入门
摘要：目录 1 HBase 简介1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBas... 阅读全文
posted @ 2021-03-12 11:59 赵广陆 阅读(55) 评论(0) 推荐(0) 编辑
dubbo项目拆分结构
摘要：后期慢慢更新 其实完整的也有，简单的说就是调用谁就要用谁的接口，因为通过远程接的一个调用会找到他暴漏消费者的实现类，就完全像sp... 阅读全文
posted @ 2021-03-09 17:17 赵广陆 阅读(39) 评论(0) 推荐(0) 编辑
Java实体映射工具MapStruct
摘要：1 项目中关于Entity、VO、DTO的认识和应用 1、entity 里的每一个字段，与数据库相对应， 2、vo 里的每一个字段，... 阅读全文
posted @ 2021-03-09 10:28 赵广陆 阅读(447) 评论(0) 推荐(0) 编辑
Gradle快速入门
摘要：目录 1 前言1.1 gradle特性 2 Gradle安装配置3 Gradle构建脚本3.1 构建项目 4 项目启动5 gr... 阅读全文
posted @ 2021-03-08 15:17 赵广陆 阅读(186) 评论(0) 推荐(1) 编辑
Spring注入和new对象产生的错误场景
摘要：问题: @Autowired注入Spring Bean，则当前类必须也是Spring Bean才能调用它，不能用new xxx(... 阅读全文
posted @ 2021-03-05 23:53 赵广陆 阅读(73) 评论(0) 推荐(0) 编辑