2023年9月19日

cloudpickle pickle 扩展包

摘要: pickle 是python的序列化包,但是默认pickle 不能进行lambda 的处理,cloudpickle 对于pickle 进行了一些扩展,可以更好的支持 集群节点之间的共享以及计算,同时apache spark 的pyspark 也集成了此功能,只是是自己fork的完整代码 参考使用 d 阅读全文

posted @ 2023-09-19 17:09 荣锋亮 阅读(104) 评论(0) 推荐(0) 编辑

feast 开源feature store

摘要: 对于机器学习特征处理是一个比较重要,特征的质量会严重影响模型的质量,而且很多时候我们都是希望实时的特征数据feast 是一个开源的特征存储实现,包含了离线以及实时特征的存储以及获取(包含了sdk,可以进行特征的获取) 参考架构 包含的组件:registry: 对象存储,持久化特征,我们可以通过sdk 阅读全文

posted @ 2023-09-19 14:11 荣锋亮 阅读(252) 评论(0) 推荐(0) 编辑

embeddedkafka 方便测试的基于内存的kafka 实现

摘要: embeddedkafka 方便测试的基于内存的kafka 实现,可以用来方便的进行基于kafka 周边的测试目前embeddedkafka提供了stream,core,conenct 以及schema-registry,对于测试场景是一个不错的选择 参考资料 https://github.com/ 阅读全文

posted @ 2023-09-19 13:42 荣锋亮 阅读(76) 评论(0) 推荐(0) 编辑

tus java client 使用以及问题说明

摘要: 代码来自官方参考,支持在使用的时候发现了一些问题记录下 参考代码 App.java package org.example; import io.tus.java.client.*; import java.io.File; import java.io.IOException; import ja 阅读全文

posted @ 2023-09-19 13:02 荣锋亮 阅读(206) 评论(0) 推荐(0) 编辑

tus-node-server 官方基于node 实现的tus server 1.0 发布

摘要: tus-node-server 是基于typescript 开发的新的nodejs server,通过拆分为独立的包(file,s3,gcs, server ) 包含的特性 完全基于typescript 开发 拆分为了独立的包 提供了新的events 以及hooks 升级了依赖包 重新设计了存储 f 阅读全文

posted @ 2023-09-19 10:59 荣锋亮 阅读(83) 评论(0) 推荐(0) 编辑

导航