荣锋亮 - 博客园

unpkg 淘宝registry 不能使用的问题

摘要：以前修改过一个unpkg，可以支持本地私服部署，今天有一位网友在使用淘宝registry 的时候发现有问题，会有重定向的问题造成不能使用原因分析尽管我们配置的是 registry.npmmirror.com 但是对于内容的下载npmmirror 会使用另外一个域名cdn.npmmirror.c 阅读全文

posted @ 2024-02-22 14:51 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

dremio SupportsExternalQuery 简单说明

摘要： dremio 的外部查询实际上就是让我们可以通过sql 直接查询source 而不是通过复杂的处理，可以解决一些sql 函数不能使用的问题对于实现了SupportsExternalQuery 接口的存储扩展就可以实现此功能，比如jdbc 的（属于ce 扩展）参考语法 SELECT * FROM 阅读全文

posted @ 2024-02-22 08:00 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dremio FileDatasetHandle 简单说明

摘要： FileDatasetHandle 是DatasetHandle的扩展，核心是对于文件系统类的处理（dremio 对于文件系统的支持主要是基于hdfs）同时支持对于不同表格式的处理（delta lake，iceber，parquet），单独说明FileDatasetHandle主要是因为此实现比较重阅读全文

posted @ 2024-02-21 08:01 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

pkl cli 简单试用

摘要：以前简单介绍过apple 开源的pkl 配置即代码工具（当然也提供了语言上的支持），以下是一个简单试用安装 mac 系统 cli 命令 curl -L -o pkl https://github.com/apple/pkl/releases/download/0.25.2/pkl-macos-am 阅读全文

posted @ 2024-02-21 08:00 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

native-lib-loader java native 库的java 包

摘要： native-lib-loader 可以方便native 库的查找，只要我们的c 库符合格式，基于native-lib-loader 就可以方便的进行包的加载参考c 库 jar 格式 /natives /linux_32 libxxx[-vvv].so /linux_64 libxxx[-vvv] 阅读全文

posted @ 2024-02-20 14:26 荣锋亮阅读(27) 评论(0) 推荐(0) 编辑

dlt 与dbt的直接集成简单试用

摘要： dlt 直接基于cli包装了dbt 的运行，对于希望通过dlt 进行etl 之后，还想运行dbt 的模型处理的场景就比较方便了，而且dlt 与dbt 的集成也是官方一个很不错的特性，以下是一个简单试用环境准备 docker-compose version: "3" services: pg: i 阅读全文

posted @ 2024-02-20 08:00 荣锋亮阅读(39) 评论(0) 推荐(0) 编辑

dremio node节点统计信息显示问题简单说明

摘要：可能有人注意到dremio 管理界面的统计信息为N/A ，而且因为web 端进行了一些额外显示处理，造成一些疑惑界面效果接口返回数据信息目前从官方代码来说，此显示是正常的，因为计算的是百分比，而且当系统负载比较低的时候，结果基本就为0 web 处理 NodeActivityView.js 参考阅读全文

posted @ 2024-02-19 18:05 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

magika google 开源的基于深度学习的文件类型检测框架

摘要： magika google 开源的基于深度学习的文件类型检测框架，基于了一个keras 模型，包含了1MB的参数，而且需要的资源比较少不以来GPU 包含的特性支持python cli 以及nodejs 使用（基于tfjs）训练超过了25M的文件数，超过100中类型支持递归检测支持3中类型的预阅读全文

posted @ 2024-02-19 09:39 荣锋亮阅读(27) 评论(0) 推荐(0) 编辑

dremio DatasetHandle 简单说明

摘要： DatasetHandle 主要是关于dataset handle 处理的，不同存储插件会有不同的具体实现，同时不同的表格式也会有不同的实现（iceberg，parquet）功能简单介绍主要是关于dataset如何处理的handle，实际的实现会包含一些上下文信息，当进行其他api 调用的时候阅读全文

posted @ 2024-02-19 08:01 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dremio source 禁用source 不可用禁止移除与反射的一些问题

摘要：实际上dremio 的反射比较有意思，而且也比较强大，比如我们可以会想通过反射，当上游系统不可用的时候依然可以查询但是实际效果并不是这样的参考配置如下问题 The source [s3] is currently unavailable. Metadata is not accessible 阅读全文

posted @ 2024-02-18 08:00 荣锋亮阅读(13) 评论(0) 推荐(0) 编辑

dlt s3 集成试用

摘要：属于一个简单试用，dlt 支持destinations 为filesystem，当然也支持source 为filesystem，内部处理是使用了s3fs 环境准备这个比较简单，推荐基于venv dlt pip install dlt[filesystem] s3 通过docker 部署，同时可以需阅读全文

posted @ 2024-02-17 08:00 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dlt 简单试用

摘要：以下主要是一个简单的体验环境初始化以前也简单说明dlt实际上就是一个python包，实际使用推荐结合python 的venv 安装安装 python -m venv venv pip install -r requirements.txt requirements.txt 文件( 主要是一些依阅读全文

posted @ 2024-02-17 08:00 荣锋亮阅读(18) 评论(0) 推荐(0) 编辑

dremio SystemStoragePluginInitializer 简单说明

摘要：以前在关于ManagedStoragePlugin部分，简单说明了下SystemStoragePluginInitializer，今天再明确说明下 SystemStoragePluginInitializer 的特点继承自Initializer接口，可以实现一些轻量级服务的启动 SystemSto 阅读全文

posted @ 2024-02-16 08:01 荣锋亮阅读(1) 评论(0) 推荐(0) 编辑

dlt开源数据加载工具

摘要： dlt是一个开源数据加载工具，基于python 开发特点一个库 dlt 就是一个python包，其他地方需要我们自己开发非黑盒系统我们可以基于代码灵活的进行自定义开发基于乘法的玩法，而不是加法自动代码生成包含了类似dbt 的一些处理cli 基于python 的玩法 dlt 对于数据的处阅读全文

posted @ 2024-02-16 08:00 荣锋亮阅读(66) 评论(0) 推荐(0) 编辑

nginx 1.25.4 发布

摘要：就在昨天nginx 发布了1.25.4，主要修改是关于http 3的安全问题，当然还有一些其他bug 修改说明目前看越新的技术，出现安全问题的风险越大（主要是当前新的http协议实现越来越复杂了）参考资料 https://nginx.org/https://nginx.org/en/secur 阅读全文

posted @ 2024-02-15 09:53 荣锋亮阅读(154) 评论(0) 推荐(0) 编辑

git RPC failed; curl 92 HTTP/2 stream 5 was not closed cleanly 类似问题解决

摘要：今天在使用git 通过http 协议进行git repo clone 的时候发现的问题，记录下参考解决方法使用http1.1 协议 git config --global http.version HTTP/1.1 增加buffer git config --global http.postBu 阅读全文

posted @ 2024-02-15 08:00 荣锋亮阅读(1067) 评论(0) 推荐(0) 编辑

jvm shutdownHook + spring 自定义事件实现业务处理

摘要： jvm 的shutdownHook 可以实现对于jvm 退出的一些处理，比如资源清理，异常事件通知，spring 自定义事件（或者使用内部的）可以实现 bean 的一些事件驱动处理，两个结合起来可以方便我们进行一些业务处理一些业务场景资源清理服务停止业务状态一致性补偿服务注册场景中的取消注册阅读全文

posted @ 2024-02-14 08:00 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

dremio cloner 基于python 的dremio ci/cd 工具

摘要： dremio cloner 是dremio 官方团队开发的一个python cli 工具主要应用场景 dremio 环境迁移比如社区版到企业版 ci/cd 集成部分备份恢复安全审计报告反射报告参考资料 https://github.com/deane-dremio/dremio-clon 阅读全文

posted @ 2024-02-13 10:33 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

extism cli 模式简单试用

摘要：安装cli curl https://get.extism.org/cli | sh cli 模式运行官方提供了一个示例项目，可以快速体验命令 PLUGIN_URL="https://github.com/extism/plugins/releases/latest/download/count 阅读全文

posted @ 2024-02-13 08:04 荣锋亮阅读(18) 评论(0) 推荐(0) 编辑

ruffle 基于webassembly 的flash player 模拟器

摘要： ruffle 基于webassembly 的flash player 模拟器包含的特性安全基于rust 以及wasm 避免一些安全问题安装简单免费开源说明官方还提供了一个demo 站点可以快速体验功能参考资料 https://github.com/ruffle-rs/ruffleht 阅读全文

posted @ 2024-02-12 08:00 荣锋亮阅读(45) 评论(0) 推荐(0) 编辑

netflix conductor 停止维护

摘要：就在23年的12月底，netflix conductor 团队停止了对于conductor 社区版的维护，同时github 项目只读了目前社区有一个fork 的conductor-oss （ orkes 团队维护，团队成员来自netflix），orkes 属于一个企业级的conductor平台参考阅读全文

posted @ 2024-02-11 21:21 荣锋亮阅读(104) 评论(0) 推荐(0) 编辑

extism 基于rust 开发的强大webassembly 框架

摘要： extism 基于rust 开发的强大webassembly 框架包含的特性使用简单可以方便的开发基于webassembly 的插件系统安全方便运行包含了灵活的架构可以可以方便与多种语言进行通信（基本覆盖了主流的编程语言）说明目前基于webassembly的语言集成热度是越来越高了，阅读全文

posted @ 2024-02-11 08:00 荣锋亮阅读(33) 评论(0) 推荐(0) 编辑

dbt-jsonschema 来自dbt 官方的schema check 工具

摘要： dbt-jsonschema是dbt 官方开发的一个方便schema check 的工具，目前主要支持json 以及yaml 格式的check 同时官方也有一个60s 的介绍说明目前来说开发dbt 的ide dataspell 是一个不错的工具，dbt-language-server 也可以作为阅读全文

posted @ 2024-02-10 22:39 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

dremio 的InformationSchemaCatalog 服务三

摘要：以前简单写过一些关于dremio 的InformationSchemaCatalog ，也说过dremio 为了方便提供标准的INFORMATION_SCHEMA 自己开发了存储扩展，以下是关于存储扩展的创建以及刷新说明创建创建是在CatalogService 中处理的，具体的实现是Catalo 阅读全文

posted @ 2024-02-10 08:00 荣锋亮阅读(4) 评论(0) 推荐(0) 编辑

dremio CTAS STORE AS && WITH SINGLE WRITER 简单说明

摘要： dremio CTAS 支持存储格式以及写入的文件数量（相对分区还说）参考CTAS格式 CREATE TABLE "s3"."91733d30-d1d2-46bf-8f2b-3c34d587a96c" STORE AS (type => 'text', fieldDelimiter => ',', 阅读全文

posted @ 2024-02-09 08:01 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

dremio SchedulerService 服务简单说明

摘要： SchedulerService内部调度服务算是一个比较重要的模块，比如dremio的功能都依赖此模块（元数据获取，一些数据清理任务，反射加速）参考实现子类 SchedulerService 实现也比较多，因为dremio 集群中的节点有多种角色，为了保证数据的一致性会对于不同集群角色的节点进行不阅读全文

posted @ 2024-02-08 08:00 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dremio FileSystem 简单说明

摘要： dremio 尽管对于文件系统的使用很多底层都是hdfs 的（s3，发射加速），dremio 为了减少直接依赖hdfs，自己抽象了一个FileSystem 接口对于不同的实现可以方便进行扩展，当然和刚才说的一样，不少底层依赖的是hdfs 的FileSystem 参考子类如下图简单说明: Fil 阅读全文

posted @ 2024-02-07 08:00 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

dremio cloud cache 简单说明

摘要： dremio cloud cache 实际上就是对于云文件系统的cache加速（比如hdfs，s3。。。），在处理的时候使用了ce 包装的包，详细源码并没有开源我们可以通过一些代码整体看下实现参考处理 dremio-ce-services-cachemanager 中的处理 ce caache 阅读全文

posted @ 2024-02-06 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

dremio 下载大量查询结果数据的一个技巧

摘要： dremio 可以对查询结果进行下载（csv，json，parquet格式的），但是目前有一个100万的限制，实际上一般是够用了，但是很多时候大家可能希望对于查询的结果进行存储（比如进行进一步的分发），以下是一个技巧默认下载的处理从处理上就是dremio 的查询job，将查询结果存储到一个__ 阅读全文

posted @ 2024-02-05 15:10 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

spring-plugin简单使用

摘要： spring-plugin 是spring 官方提供的一个插件化设计方案，比如使用支持基于spring 的项目项目结构此简单测试项目是一个maven 多模块的，包含了一个plugin 契约模块，连个插件实现，以及一个bootstrap 启动入口代码结构 ├── README.md ├── bo 阅读全文

posted @ 2024-02-05 09:31 荣锋亮阅读(215) 评论(0) 推荐(0) 编辑

spring-plugin 来自spring 官方的plugin 解决方案

摘要： spring-plugin属于spring 官方的plugin 解决方案使用的上下文以下是官方的一些使用场景希望构建一个插件化架构不能使用osgi的（实际上还是osgi 太复杂）系统通过一些接口进行系统扩展希望通过jar 包的模式进行系统的灵活扩展项目使用spring 说明目前不太好阅读全文

posted @ 2024-02-04 09:59 荣锋亮阅读(170) 评论(0) 推荐(0) 编辑

vscode Data Wrangler 一个强大的处理vscode 数据处理工具

摘要： vscode Data Wrangler 一个强大的处理vscode 数据处理工具，代码没有开源，但是可以进行不少数据的可视化处理安装使用效果比如我一个parquet 数据文件的显示处理说明 vscode-data-wrangler 并没有开源，技术实现上有python，同时还有dotnet 阅读全文

posted @ 2024-02-04 09:37 荣锋亮阅读(249) 评论(0) 推荐(0) 编辑

entity-resolution 学习参考资料

摘要：实体解析在实际业务数据分析场景还是很重要的，以下是一个不错的实体解析工具以及资料的github 地址其中提供了包含开源&商业解决方案，同时还有一些不错的书籍，hands-on-entity-resolution 这本书是24年新出的，核心使用到的工具是splink，很不错的python包参考资料阅读全文

posted @ 2024-02-04 09:26 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dremio 官方一篇关于使用了到的技术进行对象存储查询加速的博客

摘要： dremio 官方发布了一篇新博客是关于如何实现对象存储的快速查询的使用的技术主要是apche arrow,reflections, columnar cloud cache (c3) 说明博客内容很简单，主要是进行了一个介绍，详细的可以看看里边的内容，同时里边包含了不少链接值得学习下参考资阅读全文

posted @ 2024-02-03 19:40 荣锋亮阅读(20) 评论(0) 推荐(0) 编辑

dremio 服务暴露的一些端口

摘要：对于运行态的dremio 我们可以看到服务开启的监听，同时也可以通过官方提供的配置文件看到 dremio 协调节点如果协调节点同时是提供执行，会暴露以下端口 zk （可能）如果使用了内嵌zk 的2181 client-endpoint 31010，主要是老遗留模式的jdbc 端口 flight 阅读全文

posted @ 2024-02-03 19:40 荣锋亮阅读(27) 评论(0) 推荐(0) 编辑

dremio LivenessService 服务简单说明

摘要： LivenessService是dremio backend 提供的一个http 服务，提供了live （存活）以及metrics服务此服务在dremio 集群中的每个节点上都会运行，以下是一些说明一些特点服务使用了jetty 与官方dac 的backend 是不太一样，默认使用了jersey 阅读全文

posted @ 2024-02-03 19:39 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dbt_artifacts 一个很不错的dbt模型元数据扩展

摘要： dbt_artifacts 实际上属于基于基于macro 以及自定义模型开发的一个dbt 包，实现了模型的元数据能力,同时也可以作为一个dbt 模型测试的工具支持的数据库 Databricks Spark Snowflake Google BigQuery Postgres 参考资料 https: 阅读全文

posted @ 2024-02-03 19:39 荣锋亮阅读(19) 评论(0) 推荐(0) 编辑

dremio cluster docker-compose 运行

摘要： dremio 社区版，集群安装比较简单，核心就是一个配置（zk，分布式存储），为了方便本地环境的测试我基于docker-compose 提供了一个方便部署的环境，可以使用环境配置 docker-compose version: "3" services: zk: image: zookeeper 阅读全文

posted @ 2024-02-03 19:39 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

elementary 面向对象分析师的开源数据可观测工具

摘要： elementary 面向对象分析师的开源数据可观测工具,基于了dbt 包含的特性数据可观测性报告通过dbt tests 可以发现异常数据测试结果模型性能报告数据血缘 dbt 制品上传 slack 同志说明 elementary 实际上就是一个dbt 的扩展，实现了不少强大的功能，值得试阅读全文

posted @ 2024-02-03 08:01 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

quickjs-emscripten webassembly 包

摘要： quickjs-emscripten是基于emscripten将quickjs c 版本，编译为了webassembly 方便通过npm 使用包含的特性支持node以及web 使用安全的执行js （支持到es2020） quickjs runtime 进行创建以及维护值暴露主机函数到quic 阅读全文

posted @ 2024-02-02 09:28 荣锋亮阅读(72) 评论(0) 推荐(0) 编辑

导航

公告