2024年2月19日

dremio node节点统计信息显示问题简单说明

摘要: 可能有人注意到dremio 管理界面的统计信息为N/A ,而且因为web 端进行了一些额外显示处理,造成一些疑惑 界面效果 接口返回数据信息 目前从官方代码来说,此显示是正常的,因为计算的是百分比,而且当系统负载比较低的时候,结果基本就为0 web 处理 NodeActivityView.js 参考 阅读全文

posted @ 2024-02-19 18:05 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

magika google 开源的基于深度学习的文件类型检测框架

摘要: magika google 开源的基于深度学习的文件类型检测框架,基于了一个keras 模型,包含了1MB的参数,而且需要的资源比较少不以来GPU 包含的特性 支持python cli 以及nodejs 使用(基于tfjs) 训练超过了25M的文件数,超过100中类型 支持递归检测 支持3中类型的预 阅读全文

posted @ 2024-02-19 09:39 荣锋亮 阅读(27) 评论(0) 推荐(0) 编辑

dremio DatasetHandle 简单说明

摘要: DatasetHandle 主要是关于dataset handle 处理的,不同存储插件会有不同的具体实现,同时不同的表格式也会有不同的实现(iceberg,parquet) 功能简单介绍 主要是关于dataset如何处理的handle,实际的实现会包含一些上下文信息,当进行其他api 调用的时候 阅读全文

posted @ 2024-02-19 08:01 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

导航