摘要:
目录Elasticsearch 核心概念Elasticsearch 环境搭建ES HTTP 相关操作索引操作1) 创建索引2)查看所有索引3)查询单个索引4)删除索引文档操作1)创建文档2)查看文档3)修改文档4)修改字段5)删除文档6)条件删除映射操作映射数据说明索引映射关联高级查询1)查询所有文 阅读全文
摘要:
目录1. 软件下载2. 集群部署3. 创建账户4. Linux集群搭建修改ES配置文件🚩修改系统的相关配置🚩5. 启动ES集群 1. 软件下载 软件下载地址:https://www.elastic.co/cn/downloads/past-releases/ 2. 集群部署 多个不同的节点(es 阅读全文
摘要:
[toc] # 多数据源实现 如果只在意实现,直接看 dynamic-datasource【开源组件实现多数据源】🚩 **多数据源的需求:** 1. 不同的业务分多个数据库场景,例如一个程序负责n个省份的db操作 2. 一主多从的读写分离的场景(一主多从可以使用myBatis插件的方式实现) 注意 阅读全文
摘要:
[toc] ## 1. Kafka 硬件配置选择 ### 场景说明 100 万日活,每人每天 100 条日志,每天总共的日志条数是 100 万 * 100 条 = 1 亿条。 1 亿/24 小时/60 分/60 秒 = 1150 条/每秒钟。 每条日志大小:0.5k - 2k(取 1k)。 1150 阅读全文
摘要:
[toc] ## kafka生产者 ### 生产者消息发送流程 #### 发送原理 在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulat 阅读全文
摘要:
[toc] ## kafak消费者 ### 消费者总体工作流程 - **kafka消费方式:**consumer采用从broker中主动拉取的方式去消费数据(pull)。为什么不是broker主动推送呢(push),是因为由broker决定发送速率很难适应所有消费者。pull模式的缺点是kafka没 阅读全文
摘要:
目录1. 什么是kafka?2. kafka基础架构3. kafka集群搭建4. kafka命令行操作主题命令行【topic】生产者命令行【producer】消费者命令行【consumer】5. kafka生产者生产者消息发送流程Producer 发送原理普通的异步发送带回调函数的异步发送同步发送A 阅读全文
摘要:
目录kafka文件存储机制1. 思考四个问题:1.1 topic中 partition 存储分布1.2 partiton中文件存储方式1.3 partiton中segment文件存储结构1.4 在partition中如何通过offset查找message2. kafka日志存储参数配置 kafka文 阅读全文
摘要:
java.lang.IllegalStateException: dbType not support : nul 阅读全文
摘要:
FTPBox 是一个基于 FTP协议的 SpringBoot Starter,使用池技术管理FTP连接,避免频繁创建新连接造成连接耗时问题。提供和 RedisTemplate 一样优雅的 ftpTemplate。主要包含了:文件上传、下载、校验、查看等功能,为用户提供了一种安全的方式来发送和接收文件和文件夹。关联查询:java ftp starter、ftp工具类 阅读全文