08 2022 档案

面试之基础算法题：判断目标数是否在二维有序数组中（Java版）
摘要：概述 给定一个二维数组和目标数字，数组的每行或者每列都是有序的，判断数字是否在二维数组里面。 如数组[[1, 3, 4, 7], [3, 5, 10, 20], [7, 8, 15, 30], [10, 15, 20, 50]]，判断10是否在二维数字中。 分析 思路1：两次for循环，肯定可以解决 阅读全文
posted @ 2022-08-29 19:27 johnny233 阅读(23) 评论(0) 推荐(0) 编辑
数仓之数据质量及Apache Griffin简介
摘要：概述 垃圾进，垃圾出（garbage in，garbage out）。数据质量定义： 数据质量可能不是数据治理的最核心部分，但可能会成为数据治理落地的最大障碍。 评估 一般从以下6个方面评估数据质量： 完整性：数据的记录和信息是否完整，是否存在缺失情况；一致性：数据的记录是否符合规范，是否与前后及其 阅读全文
posted @ 2022-08-28 18:09 johnny233 阅读(110) 评论(0) 推荐(0) 编辑
分布式任务调度平台XXL-JOB深度实战
摘要：概述 XXL-JOB通过一个中心式的调度平台，调度多个执行器执行任务，调度中心通过 DB 锁保证集群分布式调度的一致性，这样扩展执行器会增大 DB 的压力，然而大部分公司的任务数，执行器并不多；XXL-JOB提供非常好用的监控、告警功能。不同于 ElasticJob，XXL-JOB在使用时依赖MyS 阅读全文
posted @ 2022-08-27 12:52 johnny233 阅读(503) 评论(0) 推荐(0) 编辑
权限系统设计及RBAC模型
摘要：概述 对于一个企业级的平台或系统或站点，权限模块或系统是必不可少的。权限管控，即权力限制，不同的人由于拥有不同权力，他所看到的、能使用的东西不一样。对应到一个应用系统，其实就是一个用户可能拥有不同的数据权限（看到的）和操作权限（使用）。数据包括：菜单、列表、记录详情等，操作包括：新增，查看，编辑，删 阅读全文
posted @ 2022-08-21 10:58 johnny233 阅读(164) 评论(0) 推荐(0) 编辑
MySQL系列之索引—从数据结构角度理解
摘要：索引文件是按照不同的数据结构来存储的，数据结构的不同也产生不同的索引类型： 全文索引空间数据索引(R-Tree)哈希索引树索引 全文索引 全文索引主要用于海量数据的搜索，MySQL从5.6开始支持InnoDB引擎的全文索引，功能没有专业的搜索引擎如Sphinx或Solr丰富。需求比较简单时可以试用。 阅读全文
posted @ 2022-08-18 16:57 johnny233 阅读(27) 评论(0) 推荐(0) 编辑
MySQL+Java实现父子级联查询
摘要：概述 在做后台网站(平台/系统)业务开发时，经常遇到层级概念。比如我最近在全权负责（开发+测试+产品）的一款数据产品就有分类的层级概念，层级有3层；另外有数据集、图表、看板、组合看板、数据推送等功能点（概念），这些功能点名称都有层级的概念。 举个例子：创建一个一级分类（最顶级）数据集。背景知识：数据 阅读全文
posted @ 2022-08-13 16:27 johnny233 阅读(236) 评论(0) 推荐(0) 编辑
Impala Parameter #1 is unset问题排查
摘要：概述 最近在全权负责的数据产品平台。简单来说，就是基于JDBC去执行SQL。支持各种不同的数据源如，Hive，Impala，MySQL，ClickHouse等。 问题 某次发布后，数据推送失败，报错Parameter #1 is unset，具体的报错日志： java.sql.SQLExceptio 阅读全文
posted @ 2022-08-13 13:56 johnny233 阅读(69) 评论(0) 推荐(0) 编辑