摘要：对于slack 的unfurl lightdash 使用了headless browser，以下说明下内部处理 参考图 此图来自官方文档，可以看出主要包含了调度以及slack 的 内部实现 实际上就是对于 unfurl 的图片处理部分,里边包含了cookie处理（安全）以及对于请求进行拦截（核心也是 阅读全文

摘要：现在调度工具是越来越多了，而且集成的能力也越来越强大了windmill 是一个很不错的workflow 调度平台功能很强大 特性 可扩展的执行runtime，支持跨语言代码执行 强大的调度器，支持基于低代码以及yaml 模式 通过app builder 使用低代码或者js 框架开发面向数据的dash 阅读全文

摘要：默认lightdash deploy --create 的时候会进行dbt profile target 数据库的链接测试，如果不通就会有提示问题同时lightdash deploy 同时创建项目的时候会提示是否包含数据库的信息（在创建的时候会写入到backend 服务中） dbt pg adapt 阅读全文

摘要：lightdash 是依赖dbt 进行建模的bi 工具，以下说明下lightdash 是如何集成dbt 的 简单操作流程 如下，主要是安装cli，预处理表，然后创建项目 内部处理简单说明 packages/cli/src/index.ts 代码位置，主要是通过自定义一些dbt 的meta 信息，然后 阅读全文

摘要：SQLpage 属于一个低代码工具，让我们可以通过sql 开发web 站点 包含的特点 简单 美观 快速 包含了比较丰富的web 组件 同时也提供了一些基本的功能，比如认证，变量，运行sql，读取文件 面向的人群 业务分析 可以基于动态处理 数据科学 原型以及分析 市场人员 工程师 产品管理人员 教 阅读全文

摘要：cube cube.js 个人比较喜欢的一个无头bi 开源工具，支持建模以及bi 分析，基于nodejs 开发，还是很强大的 Metriql 数据的metrics 层，支持jdbc 操作，以及rest api （部分利用了presto core 部分的代码），基于dbt，也属于无头bi 工具 Mal 阅读全文

摘要：cube.js 官方有描述关于driver 开发的说明，以下是开发一个简单的cockroachdb 驱动 驱动开发说明 copy 相关项目，比如mysql 的driver 实现，命名为@cubejs-backend/-driver 不能copy changelog.md 命名驱动类以及readme. 阅读全文

摘要：一个特别好的特性就是security context 可以在playground 中使用了，当然dashboard 代码的自动生成也有了越来越多框架的支持了 参考效果 参考资料 https://github.com/cube-js/cube.js/releases 阅读全文

摘要：vega 提供了基于json 定义数据可视化操作的指南说明，同时也提供了一些参考实现（python，nodejs） 同时vega也提供了一些周边工具（editor，query engine），从官方文档看到vega 是一个很不错的指南 因为我们目前进行可视化开发缺少通用的指南，而且每中可视化组件都有 阅读全文

摘要：streamlit是一个快速开发基于python应用的数据app包，开发比较方便,同时官方也提供了 一个方便云服务 安装 python -m venv venv source venv/bin/activate pip install -i https://mirrors.aliyun.com/py 阅读全文

摘要：cube.js 提供了自己特有的数据查询模式，还是比较清晰的，包含了维度，度量，时间粒度，以及分段（segments） 查询格式 格式为 CUBEE_NAME.MEMBER_NAME 比如维度email，查询cube Users 为Users.email 对于时间的查询处理CUBE_NAME.TIM 阅读全文

摘要：cube.js 的 data Blending，主要是解决多数据schema 数据集成（数据charts的集成）的问题 官方的解决方法还是比较简单的，核心是使用了sql 的union all 同时引用了数据schema 的sql 同时cube.js 也提供了多查询的处理，会自己进行转换处理 参考 数 阅读全文

摘要：cube.js 同时提供了强大的rest api 支持，默认请求地址是/cubejs-api ，当然可以通过Cube.js 修改 认证授权 cube.js api 的认证授权是基于jwt 的，同时会暴露一个USER_CONTEXT 对象给数据schema 参考请求 curl -H "Authoriz 阅读全文

摘要：cube.js 对于数据的cache 处理是一个很不错的亮点，同时cube.js 支持多级cache，而且支持多种模式的cache in-memory，redus，以及预聚合处理还有就是外部预聚合存储，同时cube.js 也提供了比较完备的cache 刷新策略 配置 一张参考预聚合处理图 当然以前也 阅读全文

摘要：cube.js 对于多租户的支持是比较丰富的，提供了db，schema 上的支持，同时提供了灵活的driverFactory，以及dbType 支持 支持的配置选项 contextToAppId dbType externalDbType driverFactory repositoryFactor 阅读全文

摘要：cube.js 的认证以及授权是基于security context 的，以下是参考图 简单说明 cube.js 是基于jwt token 处理的，同时关于用户的信息是在存储在u 中的，同时可以通过USER_CONTEXT 访问 同时authInfo 变量可以在多租户中方便的使用 参考u 信息 { 阅读全文

摘要：cube.js 几个比较核心的是schema 以及driver，driver 是cube.js 开发好的，schema是定义了数据操作的处理 默认cube.js 是基于配置进行数据管理的（dotenv）对于多数据源我们可以基于cube.js 进行支持，同时在schema 的定义中指定datasour 阅读全文

摘要：Backstage 是spotify 开源的用户构建开发者门户的平台，基于typescript 开发，基于单体仓库开发模式 核心组件 frontend 与用户交互的主站点，使用一些不同的扩展构建 plugins 每个插件是一个自包含的web app，包含了几乎任何类型的内容，插件使用了通用的接口模型 阅读全文

摘要：当前企业的数据分析需求是越来越多，同时需要自助以及灵活性也越来越多，我们急需灵活同时支持多数据源快速 集成查询，以及快速可视化报表的处理，以下是集合自己的一些了解以及学习，梳理一个简单的数据分析以及数据 展示方案 整体参考架构设计 各层说明 data mesh 层 主要是使用多种pg fdw 进行数 阅读全文

摘要：citus 是一个强大的pg 扩展，我们可以方便的用来开发多租户的应用，同时cube.js 支持对于多租户的数据分析 cube.js 连接citus 这个不变，就是普通的pg 连接配置 cube.js 对于多租户的处理 我们可以通过添加查询转换处理，代码如下 比较适合schema 相同的数据模型 对 阅读全文