2022 年 1月随笔档案 - MaXianZhe

理解FST

摘要：其实FST很复杂，不过我们可以简单点理解成HashMap就行了转载 lucene字典实现原理 - zhanlijun - 博客园 (cnblogs.com) 1 lucene字典使用lucene进行查询不可避免都会使用到其提供的字典功能，即根据给定的term找到该term所对应的倒排文档id列表阅读全文

posted @ 2022-01-28 16:20 MaXianZhe 阅读(494) 评论(0) 推荐(0) 编辑

ES-段和提交点

摘要：倒排索引的不可变性，这点主要是因为 Elasticsearch 的底层是基于 Lucene，而在 Lucene 中提出了按段搜索的概念，将一个索引文件拆分为多个子文件，则每个子文件叫作段，每个段都是一个独立的可被搜索的数据集，并且段具有不变性，一旦索引的数据被写入硬盘，就不可再修改。段的概念提出阅读全文

posted @ 2022-01-26 18:03 MaXianZhe 阅读(716) 评论(0) 推荐(0) 编辑

Mapping建模-优化相关

摘要：尽量避免使用nested或 parent/child，能不用就不用； nested query慢， parent/child query 更慢，比nested query慢上百倍；因此能在mapping设计阶段搞定的（大宽表设计或采用比较smart的数据结构），就不要用父子关系的mapping。如阅读全文

posted @ 2022-01-26 15:52 MaXianZhe 阅读(170) 评论(0) 推荐(0) 编辑

ElasticSearch中Filter和Query的异同

摘要：查询虽然包含这两种，但是查询在不同的执行环境下，操作还是不一样的。 Query与Filter查询在Query查询上下文和Filter过滤器上下文中，执行的操作是不一样的： Query查询上下文：在查询上下文中，查询会回答这个问题——“这个文档匹不匹配这个查询，它的相关度高么？” 如何验证匹配很好理阅读全文

posted @ 2022-01-26 11:36 MaXianZhe 阅读(170) 评论(0) 推荐(0) 编辑

ES 多重字段

摘要：处于不同的目的，通过不同的方法索引相同的字段通常非常有用。这也是多字段的目的。例如，一个字符串字段可以映射为text字段用于全文本搜索，也可以映射为keyword字段用于排序或聚合。 PUT my_index { "mappings": { "_doc": { "properties": { "ci 阅读全文

posted @ 2022-01-25 15:51 MaXianZhe 阅读(213) 评论(0) 推荐(0) 编辑

ES选举机制

摘要：Elasticsearch 技术分析（六）：自动发现机制 - Zen Discoveryedit - JaJian - 博客园 (cnblogs.com) 阅读全文

posted @ 2022-01-25 11:19 MaXianZhe 阅读(60) 评论(0) 推荐(0) 编辑

ES配置文件说明（一）

摘要：discovery.zen.ping.unicast.hosts设置应仅包含所有符合主机资格的节点的列表，而不能包含数据节点。这样，在向外扩展集群并向集群中添加新数据节点时，无需修改所有现有数据节点的配置。过时配置配置（新） discovery.zen.ping.unicast.hosts d 阅读全文

posted @ 2022-01-25 11:15 MaXianZhe 阅读(235) 评论(0) 推荐(0) 编辑

ES中各个物理文件的意义

摘要：先上一张图以下是引用网上的说法一份数据写入es会产生多份数据用于不同查询方式，会比原数据占用更多磁盘空间。而索引setting里"codec": "best_compression"是针对_source进行压缩的，压缩算法是deflate压缩比为6。存储原文_source的文件.fdt .fdm 阅读全文

posted @ 2022-01-25 10:23 MaXianZhe 阅读(555) 评论(0) 推荐(0) 编辑

ES DSL查询总结

摘要：DSL查询有两种 1 match GET cargo_index-202111/_search { "query": { "match": { "cargoId": 29951002600481 } } } 特点：不支持多字段查询，比如上面的查询只能根据cargoId进行查询 2 bool查询，可以阅读全文

posted @ 2022-01-24 18:27 MaXianZhe 阅读(284) 评论(0) 推荐(0) 编辑

Kafka同步刷盘

摘要：网上有一种说法，kafka不支持同步刷盘，这种说法也不能说是错的。但是还是可以通过参数的配置变成同步刷盘 log.flush.interval.messages //多少条消息，刷盘1次默认值 LONG.MAX_VALUE log.flush.interval.ms //割多长时间，刷盘1次 LO 阅读全文

posted @ 2022-01-22 17:00 MaXianZhe 阅读(2250) 评论(1) 推荐(1) 编辑

RocketMq怎么保证消息不丢失

摘要：Producer发送消息阶段发送消息阶段涉及到Producer到broker的网络通信，因此丢失消息的几率一定会有，那RocketMQ在此阶段用了哪些手段保证消息不丢失了（或者说降低丢失的可能性）。手段一：提供SYNC的发送消息方式，等待broker处理结果。RocketMQ提供了3种发送消息方阅读全文

posted @ 2022-01-22 16:46 MaXianZhe 阅读(2064) 评论(0) 推荐(0) 编辑

SpringBoot自带的redis锁

摘要：RedisLockRegistry 阅读全文

posted @ 2022-01-22 14:03 MaXianZhe 阅读(60) 评论(0) 推荐(0) 编辑

怎么写切面

摘要：@Aspect @Component @Order(1000) public class RequestContextAspect { @Around("execution(* com.ymm.trade.*.web.rest..*(..))") public Object around(Proce 阅读全文

posted @ 2022-01-20 19:22 MaXianZhe 阅读(44) 评论(0) 推荐(0) 编辑

ES常见查询语句

摘要：GET /_template/cargo_template GET cargo_index-202110/_search { "query": { "match_all": {} } } GET cargo_index-202111/_search { "query": { "match_all": 阅读全文

posted @ 2022-01-18 19:52 MaXianZhe 阅读(590) 评论(0) 推荐(0) 编辑

Mysql军规

摘要：读选比无限接近1，一次IO不要查太多数据，一次IO更新一条数据。读选比无限接近1，一次IO不要查太多数据，一次IO更新一条数据。读选比无限接近1，一次IO不要查太多数据，一次IO更新一条数据。【军规】必须使用UTF8字符集，如果表中涉及用户输入信息，使用utf8mb4字符集【军规】禁止使用存阅读全文

posted @ 2022-01-18 11:27 MaXianZhe 阅读(120) 评论(0) 推荐(0) 编辑

ES军规

摘要：一、每个Index都配置一个Alias，并通过Alias访问Index。二、每个Index禁用【_all】字段。三、每个Index禁用【dynamic mapping】。四、每个Index默认禁用【source】字段，如果需要开启，给出明确的理由。五、禁用【_type】这个概念，每个Inde 阅读全文

posted @ 2022-01-18 11:27 MaXianZhe 阅读(53) 评论(0) 推荐(0) 编辑

事件风暴图

摘要：阅读全文

posted @ 2022-01-14 09:43 MaXianZhe 阅读(108) 评论(0) 推荐(0) 编辑

sql建表语句

摘要：CREATE TABLE `unregister_user_task` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键id', `user_id` bigint(20) NOT NULL COMMENT '用户id', ` 阅读全文

posted @ 2022-01-13 17:05 MaXianZhe 阅读(483) 评论(0) 推荐(0) 编辑

技术方案模板

摘要：一、改动范围描述影响范围影响业务改动内容增加的依赖订单详情页面（司机/货主/........）一口价、企满、普货........ 增加xxx按钮，增加xxxxlogo、增加xxx模块（模型）等等 xxx提供的xxx RPC服务二、模型新增/变更(如果涉及) 1、新增模型 2、新增模型字阅读全文

posted @ 2022-01-08 18:02 MaXianZhe 阅读(41) 评论(0) 推荐(0) 编辑

MaXianZhe

01 2022 档案