feast 开源feature store

对于机器学习特征处理是一个比较重要,特征的质量会严重影响模型的质量,而且很多时候我们都是希望实时的特征数据
feast 是一个开源的特征存储实现,包含了离线以及实时特征的存储以及获取(包含了sdk,可以进行特征的获取)

参考架构

包含的组件:
registry: 对象存储,持久化特征,我们可以通过sdk 获取特征的信息
feast python sdk /cli 管理特征定义版本,物化特征值到在线存储中,构建以及查看离线的数据集
stream processor 流处理部分,主要是进行实时处理,当前是基于spark 与kafa 的集成
batch materialization engine 批量物化引擎进行批量的数据处理(实时以及离线)
online store 主要是对于实时进入的特征数据的存储
offlone store 主要是存储离线的数据,这些数据主要是用来产品训练的

说明

目前也有不少类似的,目前feast 是一个社区比较活跃的项目

参考资料

https://www.iguazio.com/glossary/feature-store/
https://feast.dev/
https://domino.ai/blog/an-introductory-guide-to-feature-stores
https://www.serverless-ml.org/
https://github.com/featureform/featureform
https://github.com/logicalclocks/hopsworks

posted on   荣锋亮  阅读(290)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
历史上的今天:
2022-09-19 使用 victoriametrics vmagent 解决 coroot prometheus 大量存储以及push 问题
2022-09-19 coroot 简单试用
2022-09-19 coroot 玩法简单说明
2022-09-19 coroot 开源微服务架构监控以及问题解决工具
2022-09-19 linux kernel 下载地址
2019-09-19 Traefik 2.0 tcp 路由试用
2018-09-19 stardog graphql 简单操作

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示