12 2022 档案
摘要：概述 最近负责的一款数据产品。有个功能：选择某个数据源，比如阿里云的MaxCompute数据源，然后手写SQL，点击自动生成字段（即获取前置SQL里的查询字段。前置SQL可以有drop then create table动作子句，但是最后一个子句必须得是select子句），然后选择数据的去向，比如M
阅读全文
摘要：概述 为啥要进行分库分表？ 单表数据量太大，比如超过5000w行，查询时扫描的行太多，SQL效率低，CPU出现瓶颈 数据的切分就是通过某种特定的条件，将存放在同一个数据库或同一个表的数据分散存放到多个数据库（主机）或多个表中，以达到分散单台设备负载的效果，即分库分表。 根据切分规则的类型，可以分为：
阅读全文
摘要：概述 Aviator是一门高性能、轻量级的Java语言实现的表达式动态求值引擎。其设计目标是轻量级和高性能，相对于Groovy、JRuby的笨重，Aviator非常小，不过Aviator的语法受限，它并不是一门完整的语言，只是语言的一小部分集合。定位是介于Groovy这样重量级脚本语言和IKExpr
阅读全文
摘要：概述 一款开源BI工具，后端是用clojure开发的。官网，GitHub。 安装 安装非常简单，以metabase.jar包（后文简称jar包）方式分发。在GitHub Release页面下载最新版即可。也可以通过wget命令下载： wget http://downloads.metabase.co
阅读全文
摘要：概述 Git可给仓库历史中的某一个提交打上标签，常用于标记发布结点。 本文使用的Git版本为： $ git --version git version 2.23.0.windows.1 实战 列出标签 列出全部标签的命令为：git tag或git tag -l或git tag -list，即-l或-
阅读全文
摘要：概述 开发中很常见的问题，每次遇到这个问题，都是去Google搜索，不一定能搜到满意的答案，有点耗时，故记录一下，得到本文。 端口被占用，导致IDEA启动应用失败。又或者某个文件被某个未知的应用使用，删除文件时无法删除。 Windows 端口 按下Windows键，输入cmd，或Windows +
阅读全文
摘要：概述 Builder模式定义：将一个复杂对象的构建与它的表示分离，使得同样的构建过程可以创建不同的表示。属于创建类模式，一般来说，如果一个对象的构建比较复杂，超出构造函数所能包含的范围，就可以使用工厂模式和Builder模式，相对于工厂模式会产出一个完整的产品，Builder应用于更加复杂的对象的构
阅读全文
摘要：概述 一般而言，Linux系统是没有用户界面的，所有操作都是在命令行里。 然后在安装搭建集群，如分布式的Hadoop集群时，经常需要在多个Server之间传输文件。两个server之间的文件传输，一般会想到FTP或SSH两种方式。使用FTP需要搭建FTP服务。使用SSH需学习SCP指令。 这里介绍一
阅读全文
摘要：概述 测试驱动开发，TDD，Test Driven Development，优点： 使得开发人员对即将编写的软件任务具有更清晰的认识，使得他们在思考如何编写代码之前先仔细思考如何设计软件对测试开发人员所实现的代码提供快速和自动化的支持；提供一系列可以重用的回归测试用例（regression test
阅读全文
摘要：概述 《人人都是产品经理》，诚不我欺，也！！！ 前面多篇文章提过我近一年以来几乎是一个人在负责一款数据产品，一款公司内部使用的报表开发工具。市面上的类似产品如Tableau，QuickBI等。工作角色（职责）包括：后端开发，前端开发，功能测试，需求对接（售前支持），用户对接（售后支持，问题排查），产
阅读全文
摘要：概述 作用域 Bean 的作用域是指 Bean 在 Spring 整个框架中的某种行为模式。Spring Bean的常见作用域，后3种作用域，只适用于Spring MVC框架： singleton：单例作用域prototype：原型作用域（多例作用域）request：请求作用域session：会话作
阅读全文
摘要：概述 官网： The ENABLE_EXPR_REWRITES query option controls whether to enable or disable the query compile time optimizations. These optimizations rewrite t
阅读全文
摘要：隔离级别是为事务服务的。 ACID 数据库事务的4个特性： 原子性（Atomic）：事务中的多个操作不可分割，要么都成功，要么都失败； All or Nothing一致性（Consistency）：事务操作之后，数据库所处的状态和业务规则是一致的隔离性（Isolation）：多个事务之间就像是串行执
阅读全文
摘要：很不错的一本书。章节划分清晰明了，可根据个人需要读相应的章节。Hive各个方面的知识体系都有涉及。可作为工具书，常读常新，值得翻阅。 第2章 Hive问题排查与调优思路 优化方法 PL-SQL和T-SQL经验总结： 通过改写SQL，实现对计算引擎执行过程的干预通过SQL-hint语法，实现对计算引擎
阅读全文
摘要：背景 经济下行的大环境下，很多公司都在做出海业务，即把海外人民做为服务对象。我司亦不例外。最近在全职负责的一款数据产品，也需要在菲律宾（马尼拉）也部署一个站点。 站点部署成功，看起来一切顺利。既然是数据产品，少不了需要个数据源菜单，数据源管理列表页。 马尼拉业务的数仓owner是在阿里云申请MaxC
阅读全文