摘要：概述 crontab为Linux下的计划任务程序，对应的服务为crond。crond是一个守护进程，每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务。Linux系统上面原本就有非常多的计划性工作，故而，这个系统服务是默认启动的。 入门 配置定时任务的方式有两种，对应的Cron 阅读全文

摘要：概述 最近在全职负责一款数据产品的升级改造。因旧版平台的代码写得太乱，简直惨不忍睹；别说增加功能，已有问题的定位与修复都无从下手。用户提交的，在旧版平台能执行的SQL语句，在新版平台执行报错。 此为背景。 UDF ERROR: Cannot divide decimal by zero 报错信息如下 阅读全文

摘要：背景 DataGrip作为一款超级强悍的数据库工具，支持MongoDB是一件必然的事情。早期版本应该不支持；另外，IDEA内嵌简单版本的数据库连接插件。测试验证下来，IDEA 2020.1.4版本支持连接MongoDB，DataGrip 2021.1.2 版本支持连接MongoDB（更早版本应该也支 阅读全文

摘要：背景 最近在维护的一款数据产品，有一个数据推送功能，就是把数据从A数据源同步到B数据源。通过SQL指定A数据源里面的数据表，和字段。 前面有SQL编辑框，可以提交语法无误的SQL。上面截图中的字段，表示期望推送到下游数据源的字段。左侧提供一个自动生成字段的功能，当然，右侧提供一个控件，支持用户手动输 阅读全文

摘要：背景 在做数据推送功能遇到的一个问题。具体来说，通过SQL查询语句，将Impala中100多万条数据写入到MongoDB时报错。大致的报错信息如下： java.lang.Exception: org.springframework.dao.DuplicateKeyException: Bulk wr 阅读全文