mindsdb permanent_storage 简单说明

mindsdb 有一个permanent_storage 的配置,目前包含了三种模式,absent 不进行持久化,local 使用本地的,s3使用对象存储

配置参考

{
    "permanent_storage": {
    "location": "local"
    "bucket": "s3_bucket_name" # optional
},

s3 模式简单说明

对于local 以及absent 比较简单,就是读写本地的,对于s3的配置,目前官方缺少比较完整的说明,结合源码我们可以看到一些信息

  • 参考配置
{
    "permanent_storage": {
    "location": "s3"
    "bucket": "s3_bucket_name" # optional,
    "s3_credentials": {
       "endpoint_url":"",
       "aws_access_key_id":"",
       "aws_secret_access_key":""
    }
},

permanent_storage的使用

从源码看目前主要是mindsdb 内部的lightwood需要使用,实际写入会结合资源组,公司,以及相关id 处理,lightwood 是一个机器学习的处理框架

  • 参考路径格式
fs = FileStorage(
            resource_group=RESOURCE_GROUP.PREDICTOR, resource_id=predictor_id, sync=True
        )

说明

从源码上看部分信息实际与官方文档的并不是一致的,最好还是结合源码学习,会清晰不少

参考资料

https://docs.mindsdb.com/setup/custom-config

https://github.com/mindsdb/mindsdb/blob/125dc1be20253cfba2854c91c8c3efdbae36dd7d/mindsdb/interfaces/storage/fs.py

https://github.com/mindsdb/mindsdb/blob/19e6d222fdd26ac6e882f89f2cbd3a11076c1967/mindsdb/integrations/handlers/lightwood_handler/functions.py

posted on   荣锋亮  阅读(6)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 上周热点回顾(2.17-2.23)
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)
· spring官宣接入deepseek,真的太香了~
历史上的今天:
2024-02-19 dremio node节点统计信息显示问题简单说明
2024-02-19 magika google 开源的基于深度学习的文件类型检测框架
2024-02-19 dremio DatasetHandle 简单说明
2023-02-19 tsup 简单快速的typescript库打包工具
2023-02-19 pgspider v0.20 之后的一些变动
2023-02-19 pgspider 发布v0.3.0 了
2022-02-19 grafana loki 2.4 简化服务部署

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示