摘要: 6.3、Elasticsearch 源码解析与优化实战 笔记 第1章 走进Elasticsearch 第2章 准备编译和调试环境 第3章:集群启动流程 第4章:节点启动和关闭 第5章:选主流程 第6章:数据模型 第7章:写流程 第8章:GET流程 第9章:Search流程 第10章:索引恢复流程分析 阅读全文
posted @ 2021-10-08 16:24 宝哥大数据 阅读(402) 评论(0) 推荐(0) 编辑
摘要: 数据仓库思维导图,CSDN优先更新 一、数据仓库 1.1、什么是数据仓库 1.1.1、四个特性 面向主题 ,集成化的 ,稳定性 ,随着时间变化的 1.2、数据仓库发展 1.3、数据库与数据仓库的区别 1.4、数据仓库架构分层 1.5、元数据 1.5.1、元数据介绍 1.6、数据仓库建模 1.6.1、 阅读全文
posted @ 2021-08-31 15:30 宝哥大数据 阅读(665) 评论(0) 推荐(0) 编辑
摘要: 一、修改引擎 默认处理引擎是MapReduce 可以修改处理引擎位Spark 修改为Spark引擎后速度提升10多倍 二、参数设置 2.1、启动时提示下面需要设置 In order to change the average load for a reducer (in bytes): set hi 阅读全文
posted @ 2021-08-01 09:25 宝哥大数据 阅读(269) 评论(0) 推荐(0) 编辑
摘要: HBase架构 Region-Store-ColumnFmily的关系 逻辑分层:HRegion由一个或者多个Store组成 Table (HBase table) Region (Regions for the table) Store (Store per ColumnFamily for ea 阅读全文
posted @ 2021-07-30 15:17 宝哥大数据 阅读(633) 评论(0) 推荐(0) 编辑
摘要: @ 一、高亮查询 高亮查询就是你输入的关键字,以一定的特殊字符样式展示给用户,让用户知道为什么这个结果被检索出来 高亮展示的数据,本身就是文档中的一个field,单独将field以highlight的形式返回给你。 ES提供了一个highlight属性,和query同级别的。 fragment_si 阅读全文
posted @ 2021-07-10 13:42 宝哥大数据 阅读(3087) 评论(0) 推荐(0) 编辑
摘要: 参考: Elasticsearch Reference [7.10] » Query DSL » Term-level queries » IDs 一、ID 查询 ES每一行数据,即文档都会有一个id,如果指定某一列field值作为id,则该列field必须为唯一键,类似于MySQL的UK;不过不指 阅读全文
posted @ 2021-07-06 20:59 宝哥大数据 阅读(1587) 评论(0) 推荐(0) 编辑
摘要: @ 2.2、match查询 match查询属于高层查询,会根据你查询的字段的类型不一致,采用不同的查询方式。 如果查询的是日期或者数值的字段,他会自动将你的字符串查询内容转换成日期或者数值对待; 如果查询的内容是一个不能被分词的字段(keyword).match查询不会对你的指定查询关键字进行分词; 阅读全文
posted @ 2021-07-06 08:20 宝哥大数据 阅读(657) 评论(0) 推荐(0) 编辑
摘要: 2.1、term&terms查询 2.1.1、term查询 参考: Elasticsearch Reference [7.10] » Query DSL » Term-level queries » Term query term的查询是代表完全匹配,搜索之前不会对你搜索的关键字进行分词,如关键字手 阅读全文
posted @ 2021-07-05 20:00 宝哥大数据 阅读(4861) 评论(0) 推荐(0) 编辑
摘要: 1.1 hashMap底层源码,数据结构 hashMap的底层结构在jdk1.7中由数组+链表实现,在jdk1.8中由数组+链表+红黑树实现,以数组+链表的结构为例。 JDK1.8之前Put方法: JDK1.8之后Put方法: 1.2 Java自带有哪几种线程池? 1.2.1、newCachedTh 阅读全文
posted @ 2021-06-28 20:57 宝哥大数据 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 关注我的公众号【宝哥大数据】,更多干货等着你 1.1、数仓分层架构 分层优点:复杂问题简单化、清晰数据结构(方便管理)、增加数据的复用性、隔离原始数据(解耦) 层级 功能 ods 原始数据层 存放原始数据,保持原貌不做处理 dwd 明细数据层 对ods层数据清洗(去除空值,脏数据,超过极限范围的数据 阅读全文
posted @ 2021-06-27 09:15 宝哥大数据 阅读(488) 评论(0) 推荐(0) 编辑