03 2022 档案
摘要：问题 DataGrip连接SQL Server 连接SQL Server失败，默认使用的驱动是sqljdbc4： 结果报错信息如下： [08S01] 驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol
阅读全文
摘要：概述 最近在负责一款数据产品，因调试需要，得经常执行impala查询SQL。公司内部维护有一个Hive/Impala查询平台，本来可以使用多账户登录此查询平台：一个是自己的域账户，当然权限非常有限，很多表不可查询；另一个是report账户，相当于管理员账户。这肯定非常不安全，无论是从安全，还是数据资
阅读全文
摘要：背景 最近在负责的一款数据产品，其功能之一为数据推送，即把数据从源头数据源同步到目标数据源。 功能大致如下，SQL语句块需要支持多段SQL，以英文逗号;分隔： 问题 自测时发现一个问题。对于select 11 as userid或select 22 as user_id这样的查询语句，自动生成字段，
阅读全文
摘要：背景 最近在全权负责的一款数据产品，基于Hive-JDBC执行用户提交的Impala SQL，实现数据集，数据监控，数据推送等功能。Hive-JDBC版本2.1.1-cdh6.2.1： <dependency> <groupId>org.apache.hive</groupId> <artifact
阅读全文
摘要：背景 领导们需要查看一些汇总数据，这些汇总数据可从离线数仓平台查询得到，而企微是一个比较好的企业内部通讯工具。 基于此，现在全职负责（一个人负责前端，后端，测试，小部分产品设计）的报表平台，具备功能点：Impala数据推送到企微。 页面设计大致如下： 问题 因为另外一个任务执行时间比较久，故而想知道
阅读全文
摘要：背景 最近在负责的一个大数据产品项目中，有一个数据推送/同步数据的功能。 问题报错 生产环境的MySQL数据同步到预发环境。业务同学反馈数据同步失败，预发环境的数据不对。 从数据源获取数据的SQL语句为： select id,name,sort,type,url,inserttime,updatet
阅读全文
摘要：背景 Impala数据推送到Redis，平台业务使用方反馈插入到Redis的数据不对： Redis插入key没有问题；value是0.6nul有问题，正常的数据应该是0.6。 问题排查 代码片段如下： private void pushToRedis(Map query, List<Map<Stri
阅读全文
摘要：背景 应用迁移，即旧版应用下线，新版应用上线，停掉旧版应用里面的quartz任务，开启新版的xxl-job调度任务。数据推送源头是SQL Server，目的地是MQ。 问题爆出 今天iview的自动导出任务从老系统迁移到新系统，下午2点40~近5点。导出到MQ的消息内容与预期不符，造成这段时间数据缺
阅读全文
摘要：背景 从SQL Server推数据到MQ。 SQL查询语句（省略若干查询字段）： select CallStartDt, SeqNum, CallId, Service_Id, UMID from CallDetail where CallInsertDt >= CONVERT(varchar(10
阅读全文