摘要：
本文介绍从传统的报表平台中梳理和重构指标库的操作步骤。 01 野蛮生长的报告 对于基于KPI的传统仪表盘和报表系统，随着业务规模和数据展示需求的增长，通常是来一个需求就开发一个报告，最终的结果便是成百上千的报告和统计指标。其中不乏大量的重复和无人关注的报告。 规模暴涨的同时也会伴随着的一系列问题，比 阅读全文
2021年9月13日
2021年3月7日
摘要：
继上篇安装完成GaussDB 200之后，本文讲一下如何使用这个环境做些开发测试，特别是使用Data Studio进行远程访问。 01 创建用户、数据库 首先，在omm用户下，用管理员登陆，创建测试用户和测试数据库。 # su - omm $ source ${BIGDATA_HOME}/mppdb 阅读全文
2021年2月28日
摘要：
云主机太贵（最便宜的每月几千吧），长期如果需要GaussDB200有个功能测试或学习环境，那么性价比最高的方式还是在自己的笔记本电脑上尝试安装一个本地的数据库进行学习和功能验证。 01 安装环境信息 既然是实验环境，用了一台家属淘汰下来的Thinkpad E460，i5的CPU，后面内存加到了16G 阅读全文
2020年12月14日
摘要：
问题场景：使用shell脚本调用jasypt.jar的对一个已加密字串进行解码时报出java.security.spec.InvalidKeySpecException: Password is not ASCII错误。其中加密字串和加密秘钥都是从yaml文件中解析的。以下内容描述了错误处理过程 问 阅读全文
2020年9月29日
摘要：
在使用xmind梳理知识点的时候，因为长期积累，单个文件的节点数可能超过1000个，层级可能超过6层。但在我们做文件分享时，可能只需要提供3层的思维导图，这时候就需要对子节点进行删除。原始的方法，就是在xmind界面下选中要删除的节点，然后一个个删除……当然，如果有上千个节点时就需要考虑别的方式来进 阅读全文
2020年7月10日
摘要：
随着我司的应用都开始容器化，相应的ETL流程也需要迁移到容器中。常规的SQL和shell脚本迁移之后执行基本没有问题，主要的问题在于数据接入使用kettle的场景下，kettle启动异常。 kettle部署方式 kettle挂载在某台主机的路径下，该路径映射到一个装有Azkaban容器的路径，日常任 阅读全文
2020年7月6日
摘要：
6月份的大部分时间在完成一个特殊的数据迁移工具，将文件中的标签整合到关系型数据库的表字段中。从近几年的技术趋势和参与的项目看，基本都是从关系型数据库往大数据组件迁移。在这个项目中，主要是客户和相关应用的供应商依赖于PostgreSQL的GIS插件。因此我也有幸使用了一次PostgreSQL数据库。本 阅读全文
2020年6月29日
摘要：
方法： 直接从系统视图构造修改的sql select concat('alter table ' ,table_name ,' CHANGE ' ,COLUMN_NAME, ' ' ,COLUMN_NAME, ' ' ,DATA_TYPE ,'(' ,CHARACTER_MAXIMUM_LENGTH 阅读全文
2020年6月7日
摘要：
接上一篇数据仓库知识点梳理(3)对数据立方体和MDX的介绍，本文将在本地Windows环境上搭建基于数据立方体的数据分析平台。并对一个示例立方体进行多维度分析。 环境配置 软件下载和安装 本文使用Pentaho的社区版本BI Server作为数据多维分析的工具，下载地址为https://source 阅读全文
2020年4月30日
摘要：
疫情期间，好多国家都推行了居家隔离的政策。为了充实大家的宅家生活，一些公司和机构都免费开放了版权资料。比如约翰霍普金斯大学的「muse」项目https://about.muse.jhu.edu/resources/freeresourcescovid19/，收集了不少大学图书馆的电子书，可以在线观看 阅读全文
