随笔分类 -  云运维&&云架构

上一页 1 2 3 4 5 6 ··· 189 下一页

Daft UDF 简单说明
摘要：Daft 内部UDF 相比apply 提供了不少优化 apply 的使用 参考 df.with_column( "flattened_image", df["image"].apply(lambda img: img.flatten(), return_dtype=daft.DataType.pyt 阅读全文

posted @ 2025-02-14 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

Daft delta lake dremio 集成一些问题
摘要：一些问题 com.dremio.common.exceptions.UserException: Failed to read metadata for delta dataset /warehouse/myappdemo. Deltalake format version 3 is not sup 阅读全文

posted @ 2025-02-13 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

Daft delta lake 集成简单试用
摘要：Daft 对于delta lake 支持本地写入以及基于catalog的，当前内部基于了delta-rs，对于catalog 的支持包含了aws glue 以及unity 以下是本地简单试用，对于基于unitycatalog的后边介绍下 简单试用 本地写入 import daft df = daft 阅读全文

posted @ 2025-02-12 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

Daft nessie rest catalog + dremio 集成代码简单说明
摘要：以前简单说明过集成玩法，以下通过代码示例简单说明下集成 nessie + dremio 部署 基于docker-compose 部署 docker-compose 一些参考可以参考我以前关于dremio 以及nessie 的一些介绍 version: "3" services: zk: image: 阅读全文

posted @ 2025-02-11 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

Daft nessie rest catalog + dremio 集成
摘要：Daft 内部使用了pyiceberg 进行iceberg 的表操作，对于具体的catalog 都是pyiceberg 内部的能力，实际上我们可以直接集成nessie， 目前pyiceberg 对于rest catalog 支持的比较好，同时nessie 也支持rest catalog 了，以下是一 阅读全文

posted @ 2025-02-10 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

Daft 集成ray 测试
摘要：通过集成ray 可以让Daft 实现分布式调度能力，以下是一个简单测试, ray 使用了本地模式 集成ray 测试 代码 是一个访问iceberg的示例代码 import daft import daft.context import ray ray.init() from pyiceberg.ca 阅读全文

posted @ 2025-02-09 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

pygetwindow 跨平台获取window 窗口包
摘要：pygetwindow 是一个跨平台的获取系统窗口的包，可以获取当前激活的窗口，以及或有打开窗口的标题 参考使用 安装 pip install pygetwindow 备注： 对于mac 系统需要安装pyobjc-framework-Quartz 这个包，方便集成Quartz 简单使用 注意mac 阅读全文

posted @ 2025-02-08 08:00 荣锋亮 阅读(34) 评论(0) 推荐(0) 编辑

Daft 集成iceberg 测试
摘要：Daft 就用pyiceberg 提供了对于iceberg 的集成，以下是一个简单测试 准备iceberg 表 直接基于了本地数据存储 参考代码 import daft from pyiceberg.catalog.sql import SqlCatalog as ISqlCatalog impor 阅读全文

posted @ 2025-02-07 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

PyTables 基于hdf5 以及numpy 分层数据集包
摘要：PyTables 基于hdf5 以及numpy 分层数据集包，pandas 内部对于hdf5格式的处理就是基于了此包 包含的特性 支持表实体操作 多维以及表单元嵌入支持 表列支持索引操作 支持基于numpy 的数字数组 可扩展数组 可变长度数组 支持层级结构数据模型 用户定义元数据 支持读以及修改通 阅读全文

posted @ 2025-02-06 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

PyTables 提供的一些工具
摘要：PyTables 提供了一些工具，可以方便查看以及分析生成的文件，以下是一个简单说明 ptdump 提供了查看数据以及元数据信息 命令 usage: ptdump [-h] [-v] [-d] [-a] [-s] [-c] [-i] [-R RANGE] filename[:nodepath] Th 阅读全文

posted @ 2025-02-05 08:00 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

hdf5 存储格式
摘要：hdf5是一种用于存储和管理大规模数据集的文件格式，广泛应用在数据科学中，pandas 等一些dataframe 框架提供了直接读写处理 包含的特点 层次化结构： HDF 文件可以组织成类似文件系统的层次结构，包含“组”和“数据集”。 组相当于文件夹，数据集相当于文件。 跨平台支持： HDF 文件在 阅读全文

posted @ 2025-02-04 08:00 荣锋亮 阅读(34) 评论(0) 推荐(0) 编辑

Daft sql查询数据库处理简单说明
摘要：此sql 不是Daft 对于dataframe 的sql 查询处理，而是对于database 数据源的查询处理，以下是一些简单数名 简单说明 支持20+ 数据库方言，基于了sqlGlot，当然处理部分有基于connector-x的以及sqlalchemy的，默认使用connector-x 对于不支持 阅读全文

posted @ 2025-02-03 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

Daft io配置简单说明
摘要：很多时候我们希望取访问外部存储，但是外部存储是需要一些配置信息的，比如s3，Daft 对于配置的处理有两种模式，全局以及特定数据处理任务，以下简单说明下 全局模式 通过设置Daft 的计划信息，提供默认io 配置 参考配置 之后后续的处理就不要进行而外的io 访问配置了,比如适合有统一的io 配置信 阅读全文

posted @ 2025-02-02 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

ollama deepseek 流式web 集成think 标签处理简单示例
摘要：ollama openai 兼容api 的流式输出可以提升用户体验，当前deepseek 比较火，以下是对于deepseek think 部分部分的简单说明 处理机制 因为输出是markdown格式的，我们主要将think 部分解析到，同时进行标签的处理（比如替换为div 的同时添加class 属性 阅读全文

posted @ 2025-02-01 17:48 荣锋亮 阅读(2193) 评论(0) 推荐(0) 编辑

Daft s3 集成试用
摘要：daft 支持不少存储数据的访问，以下是关于s3的一个简单试用 环境准备 docker-compose services: minio: image: minio/minio command: server /data --console-address ":9001" ports: - 9000: 阅读全文

posted @ 2025-02-01 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

python atexit 模块提供的一些功能
摘要：python 的atexit 提供了一些钩子，可以在python 正常退出的时候可以执行一些方法 参考使用 注册钩子函数 import atexit atexit.register(lambda: print('exit')) def main(): print('main') if __name_ 阅读全文

posted @ 2025-01-31 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

eclipse uprotocol汽车应用以及服务连接框架
摘要：eclipse uprotocol 基于了cloud events 以及protobuf 定义了通用的协议处理 包含的特性 多样的消息交换模式支持，包含了rpc，发布订阅，通知 跨语言支持，当前支持java，rust，c++，python 跨平台，支持linux，android，qnx 等 灵活，支 阅读全文

posted @ 2025-01-30 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

yomo 支持geo ai 基础设施的状态化serverless 框架
摘要：yomo 支持geo ai 基础设施的状态化serverless 框架 包含的特性 llm 函数调用 低延迟（基于quic 协议） geo 分布 自托管 webassembly 集成，通过go，rust，c，编译为wasm 运行 安全，数据包通过tls v1.3 加密 说明 webassembly 阅读全文

posted @ 2025-01-29 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

netron 方便的模型结构可视化工具
摘要：netron可以方便的对于神经网络，深度学习以及机器学习的模型进行可视化，使用简单 说明 netron 支持各类模型，对于希望了解模型结构参数的netron是一个很不错的可视化工具 参考资料 https://netron.app/ https://github.com/lutzroeder/netr 阅读全文

posted @ 2025-01-28 08:00 荣锋亮 阅读(59) 评论(0) 推荐(0) 编辑

pynput python 实现控制以及监听鼠标以及键盘的包
摘要：pynput 属于一个python 进行控制设备的包，目前主要提供了鼠标以及键盘控制能力，使用上都比较简单 说明 对于需要进行按键以及鼠标控制的，基于pynput是一个不错的选择，使用简单，支持多平台 参考资料 https://github.com/moses-palmer/pynput https 阅读全文

posted @ 2025-01-27 08:00 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 ··· 189 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示