摘要： spark streaming中维护kafka偏移量到外部介质 以kafka偏移量维护到redis为例。 redis存储格式 使用的数据结构为 ，其中key为 ，value为 。 例如 这个 下有3个分区，则key value结构如下： 的偏移量为x 的偏移量为y 的偏移量为z 消费时指定offse 阅读全文

摘要： spring cloud gateway负载普通web项目 对于普通的web项目，也是可以通过 进行负载的，只是无法通过服务发现。 背景 不知道各位道友有没有使用过 "帆软" ，帆软是国内一款报表工具，这里不做过多介绍。 它是通过war包部署到 ，默认是单台服务。如果想做集群，需要配置 ，帆软会将当 阅读全文

摘要： JdbcTemplate实体映射 如果你需要使用JdbcTemplate将查询的数据映射成Java POJO，那么这篇文章适合你。 一个例子入门 下面是一个将表中一行记录映射成Map的例子，也是JdbcTemplate默认提供的功能。 然而，我们更希望得到的是下面这样的。 其中User中的属性与字段 阅读全文

摘要： Sqoop葵花宝典 基于Sqoop1.x 场景 导入流程 导出流程 字段说明 | 字段 | MySQL类型 | Hive类型 | | | | | | id | int | int | | name | varchar(100) | string | | desc | varchar(255) | s 阅读全文

摘要： kettle web化 通过Java API调用kettle核心代码，并基于Spring Boot提供简易的Web管理界面。 背景 在工作中，通过kettle这款ETL产品进行数据处理时，是通过kitchen命令调用kettle，会启动一个jvm程序处理。在运行时，如果几个任务同时跑，那么会占用比较 阅读全文

摘要： Summer Project "Summer" 是一个用于 学习交流 ，基于 "Netty4.x" 的简单mvc库。 使用 快速开始 自定义 关于 Request 命名参数 显然， 就是一个命名参数，可以通过 方法获取命名参数。 注意: name 必须为字母[a zA Z], 否则视为精确匹配! 前 阅读全文