摘要：
背景 最近在做一款数据产品，涉及到数据源。既然是数据源，肯定有URL（含port信息），用户名和密码。页面上面，虽然有前端组件mask处理，不能复制出来。但是对于稍微懂点技术的同学，都知道去查看控制台。在之前的版本设计里面，产品和研发同学没有考虑到这种安全机制问题；也就是说，在控制台，可以看到明文密 阅读全文
摘要：
背景 在迁移改造遗留系统时，遇到如下一个对外暴露的接口，其中.do是旧系统自动在URL后面添加的，新系统也需要加上，否则业务方调用接口时报错404： @RequestMapping(value = "/getApigetCurrentMsgByMany.do") public ServiceStat 阅读全文
摘要：
后端开发者偶尔写写前端页面，记录的笔记，大佬勿喷。 判断是否为JSON 直接给出源码： const isJson = (str: any) => { try { if (typeof JSON.parse(str) == "object") { return true; } } catch (e) 阅读全文
摘要：
问题 DataGrip连接SQL Server 连接SQL Server失败，默认使用的驱动是sqljdbc4： 结果报错信息如下： [08S01] 驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol 阅读全文
摘要：
概述 最近在负责一款数据产品，因调试需要，得经常执行impala查询SQL。公司内部维护有一个Hive/Impala查询平台，本来可以使用多账户登录此查询平台：一个是自己的域账户，当然权限非常有限，很多表不可查询；另一个是report账户，相当于管理员账户。这肯定非常不安全，无论是从安全，还是数据资 阅读全文
摘要：
背景 最近在负责的一款数据产品，其功能之一为数据推送，即把数据从源头数据源同步到目标数据源。 功能大致如下，SQL语句块需要支持多段SQL，以英文逗号;分隔： 问题 自测时发现一个问题。对于select 11 as userid或select 22 as user_id这样的查询语句，自动生成字段， 阅读全文
摘要：
背景 最近在全权负责的一款数据产品，基于Hive-JDBC执行用户提交的Impala SQL，实现数据集，数据监控，数据推送等功能。Hive-JDBC版本2.1.1-cdh6.2.1： <dependency> <groupId>org.apache.hive</groupId> <artifact 阅读全文
摘要：
背景 领导们需要查看一些汇总数据，这些汇总数据可从离线数仓平台查询得到，而企微是一个比较好的企业内部通讯工具。 基于此，现在全职负责（一个人负责前端，后端，测试，小部分产品设计）的报表平台，具备功能点：Impala数据推送到企微。 页面设计大致如下： 问题 因为另外一个任务执行时间比较久，故而想知道 阅读全文
摘要：
背景 最近在负责的一个大数据产品项目中，有一个数据推送/同步数据的功能。 问题报错 生产环境的MySQL数据同步到预发环境。业务同学反馈数据同步失败，预发环境的数据不对。 从数据源获取数据的SQL语句为： select id,name,sort,type,url,inserttime,updatet 阅读全文
摘要：
背景 Impala数据推送到Redis，平台业务使用方反馈插入到Redis的数据不对： Redis插入key没有问题；value是0.6nul有问题，正常的数据应该是0.6。 问题排查 代码片段如下： private void pushToRedis(Map query, List<Map<Stri 阅读全文