mindsdb permanent_storage 简单说明
mindsdb 有一个permanent_storage 的配置,目前包含了三种模式,absent 不进行持久化,local 使用本地的,s3使用对象存储
配置参考
{
"permanent_storage": {
"location": "local"
"bucket": "s3_bucket_name" # optional
},
s3 模式简单说明
对于local 以及absent 比较简单,就是读写本地的,对于s3的配置,目前官方缺少比较完整的说明,结合源码我们可以看到一些信息
- 参考配置
{
"permanent_storage": {
"location": "s3"
"bucket": "s3_bucket_name" # optional,
"s3_credentials": {
"endpoint_url":"",
"aws_access_key_id":"",
"aws_secret_access_key":""
}
},
permanent_storage的使用
从源码看目前主要是mindsdb 内部的lightwood需要使用,实际写入会结合资源组,公司,以及相关id 处理,lightwood 是一个机器学习的处理框架
- 参考路径格式
fs = FileStorage(
resource_group=RESOURCE_GROUP.PREDICTOR, resource_id=predictor_id, sync=True
)
说明
从源码上看部分信息实际与官方文档的并不是一致的,最好还是结合源码学习,会清晰不少
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 上周热点回顾(2.17-2.23)
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)
· spring官宣接入deepseek,真的太香了~
2024-02-19 dremio node节点统计信息显示问题简单说明
2024-02-19 magika google 开源的基于深度学习的文件类型检测框架
2024-02-19 dremio DatasetHandle 简单说明
2023-02-19 tsup 简单快速的typescript库打包工具
2023-02-19 pgspider v0.20 之后的一些变动
2023-02-19 pgspider 发布v0.3.0 了
2022-02-19 grafana loki 2.4 简化服务部署