摘要：vapor是基于swift 的web 框架，包含了不少功能，官方也提供了不少扩展，同时官方提供的模版可以直接基于docker 运行 说明 对于希望学习swift 同时基于swift 开发web 应用的是一个不错的选择，可以学习练练手 参考资料 https://vapor.codes/https:// 阅读全文

摘要：核心是@main 注解在main.swift 文件中，可以重新命名下 参考资料 https://stackoverflow.com/questions/73431031/swift-cli-app-main-attribute-cannot-be-used-in-a-module-that-cont 阅读全文

摘要：graalvm 23.1.0 开始python 集成也做为一个独立的包了，同时官方文档也有一些安装说明，比如下载包的，基于pyenv的 目前pyenv 的是不成功的（repo 似乎还没更新） 安装 直接使用安装包，直接可以github 下载，包含了不同的版本，直接可以下载企业版使用 参考代码 app 阅读全文

摘要：从graalvm 23.1.0 开始，python 的集成与nodejs 类似也是独立了，使用上与nodejs 类似，可以简化不少集成 参考资料 https://github.com/oracle/graalpython/releases/tag/graal-23.1.0https://www.gr 阅读全文

摘要：graaljs docker 镜像 很简单就是下载官方包，集成下，然后进行一些简单的配置 Dockerfile FROM debian:bullseye-backports LABEL author="rongfengliang" LABEL email="1141591465@qq.com" WO 阅读全文

摘要：从graalvm 23.1.0 开始graaljs 可以独立使用了，这样就方便了不少，我们可以集成jvm 同时也可以集成nodejs 但是软件包会小不少有利用项目的使用，目前来说官方提供了不同版本的，包含了js 命令的nodejs 的同时包含jvm 的对于社区版包含了-community，jvm的包 阅读全文

摘要：graalvm 效率还是挺快的，java 21 版本虚拟线程以及ga可，graalvm 对于21 版本支持的发布，让我们也可以直接使用了从官方介绍以及解决来看，性能提升是很大的，在一些测试场景中 native image 比C2 jit 还快 说明 目前官方已经提供了21 的下载包可以体验使用 参考 阅读全文

摘要：特征工程在机器学习中是比较重要的，而且也是比较花费时间的，而且对于不同场景的业务（序列，机器视觉，NLP）会有不同的处理方式，整理了一些日常使用比较多的工具，可以参考 工具包 scikit-learn 比较老牌了，提供了不少特征工程的工具包，同时也提供了不少相关的算法实现 autofeat 实现上与 阅读全文

摘要：pickle 是python的序列化包，但是默认pickle 不能进行lambda 的处理，cloudpickle 对于pickle 进行了一些扩展，可以更好的支持 集群节点之间的共享以及计算，同时apache spark 的pyspark 也集成了此功能，只是是自己fork的完整代码 参考使用 d 阅读全文

摘要：对于机器学习特征处理是一个比较重要，特征的质量会严重影响模型的质量，而且很多时候我们都是希望实时的特征数据feast 是一个开源的特征存储实现，包含了离线以及实时特征的存储以及获取（包含了sdk，可以进行特征的获取） 参考架构 包含的组件:registry： 对象存储，持久化特征，我们可以通过sdk 阅读全文

摘要：embeddedkafka 方便测试的基于内存的kafka 实现，可以用来方便的进行基于kafka 周边的测试目前embeddedkafka提供了stream，core，conenct 以及schema-registry，对于测试场景是一个不错的选择 参考资料 https://github.com/ 阅读全文

摘要：代码来自官方参考，支持在使用的时候发现了一些问题记录下 参考代码 App.java package org.example; import io.tus.java.client.*; import java.io.File; import java.io.IOException; import ja 阅读全文

摘要：tus-node-server 是基于typescript 开发的新的nodejs server，通过拆分为独立的包（file，s3，gcs， server ） 包含的特性 完全基于typescript 开发 拆分为了独立的包 提供了新的events 以及hooks 升级了依赖包 重新设计了存储 f 阅读全文

摘要：我以前也打开简单说过，oceanbase odc 的实现（通过同时猜测的），就在今天odc 整体源码开源了，对于需要自己扩展的同学是比较方便的，同时也可以更好的学习odc 的实现机制 目前odc 包含的组件 client web 前端，同时也有基于electron 包装的客户端，会启动jar 暴露的 阅读全文

摘要：spark connect 3.4 开始就支持了connect 模式，3.4.1 比较稳定了 connect server 启动 实际上就是一个spark 引用，通过spark_submit 提交到spark 环境中 启动 ./sbin/start-connect-server.sh --packa 阅读全文

摘要：实际上就是一个简单的实践，方便参考，对于开发以及运行，集成ci/cd 以及dophinscheduler 任务调度为了方便开发的spark 应用共享以及使用基于s3 进行文件存储（当然dophinscheduler 也是支持自己的资源库的） 参考图 玩法说明 基于gitlab 进行代码管理，通过ci 阅读全文

摘要：kestra 官方是提供了基于docker-compose 运行的模版，以下主要是体验下，实际上kestra 提供的一些能力还是很强大的 尤其是强大的插件开发能力 环境准备 docker-compose 文件 volumes: postgres-data: driver: local kestra- 阅读全文

摘要：今天我有简单说明过一个mage-ai 的airflow 替换方案，kestra 是另外一个可选方案kestra 使用了yaml 进行piepline 的配置，当然我们也可以直接在ui 中操作，kestra包含了自己的插件系统 适合的业务场景 数据调度 分布式调度 事件驱动workflow 说明 ke 阅读全文

摘要：主要测试下集成minio s3，同时体验下mage-ai 环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio ports: - "9003:9000" - "19002:19001" environment: 阅读全文

摘要：mage-ai 是一个可以替换airflow 的现代数据pipeline 平台 包含的特性 友好的开发体验 支持python，sql，r 语言 不以来DAG 的可开发模式 交互式代码 数据优先 基于云的协作 快速部署 扩展简单 提供可观测性 说明 官方提供来的demo 站点，可以方便的体验学习，目前 阅读全文