摘要：
基于chunjun纯钧的增量数据同步 目前我司的大数据平台使用的是flink技术栈，底层的连接器插件使用的是国产的chunjun插件，在使用chunjun的过程中也遇到了很多问题，本次记录下在SQL模式的情况下怎么支持增量的数据同步 chunjun的官网文档对增量同步已经做出了一定的说明 纯钧官方 阅读全文
摘要：
解析JDBC使用游标查询MySQL 使用jdbc查询MySQL数据库，如果使用游标或者流式查询的话，则可以有效解决OOM的问题，否则MySQL驱动就会把数据集全部查询出来加载到内存里面，这样在大数据的情况下会OOM的 不同的查询方式 ResultsetRows 的实现是不一样的！！！ 流式查询【每次 阅读全文
摘要：
windows安装MySQL8.4.3LTS 第一步：下载压缩文件 https://dev.mysql.com/downloads/mysql/ 第二步：解压压缩包以及编写配置 my.ini配置 [mysqld] # skip_grant_tables # 设置3306端口 port=3306 # 阅读全文
摘要：
如何在服务器上通过ollama部署本地大模型 第一步：下载离线的ollama安装包 curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz 第二步：加压安装包到指定的目录 sudo ta 阅读全文
摘要：
flink同步MySQL数据的时候出现内存溢出 背景：需要将1000w的某类型数据同步到别的数据源里面，使用公司的大数据平台可以很快处理完毕，而且使用的内存只有很少很少量(公司的大数据平台的底层是flink，但是连接器使用的是chunjun开源产品)，由于我个人想使用flink原生的连接器来尝试一下 阅读全文
摘要：
elasticsearch存储经纬度且按照范围进行查询 背景: 我在客户那边有很多舆情事件数据，数据里面包含的是有经纬度的，项目需求是用户在系统中输入一个地址，系统就可以查询到该地址100米 500米 1000米范围内的事件信息，当然了还可以输入事件的关键信息做模糊查询，所以我选择了使用es来存储引 阅读全文
摘要：
SSM使用自定义ConditionalOnProperty实现按需加载spring bean 背景: 公司提供的系统框架是SSM架构，SSM架构是没有springboot的ConditionalOnProperty注解的，而我们的系统是在很多区县部署的，每个区县会有一些定制化需求，其中有一个类只在一 阅读全文
摘要：
Jedis连接踩坑日记 背景: 线上某块业务的增删改功能全部都不可用。页面发送了xhr请求之后 状态一直处于pending状态，后端没有日志产生 排查路线与解决办法 第一：由于服务在内网里面，无法进行远程调试。所以采用比较笨的方式，在代码里面多加一些日志，最后定位 JedisUtil.getJedi 阅读全文
摘要：
使用Elasticsearch做手机号和身份证号的模糊检索 背景 客户想通过人名 四位数值 来检索人的信息 例如 张三 3421，例如需要检索包含张三和且手机号或者身份证里包含3421的数据 过程 es集群使用的是ik_max_word分词器，该分词器不会对手机号和身份证号进行分词，是无法做到手机号 阅读全文
摘要：
Elasticsearch数据同步优化 背景 为了满足项目需求，需要将大量数据的数据写入到ES进行检索，预估数据量是40亿左右，目前需要同步进去的是2亿左右。 ES集群配置 三台128G的国产服务器 国产linux系统 CPU主频低的拉跨 JDK8的版本 机械硬盘 遇到的问题 后端使用Java调用e 阅读全文