随笔分类 -  云运维&&云架构

上一页 1 ··· 35 36 37 38 39 40 41 42 43 ··· 186 下一页

maestro studio 简化编写测试worflow 的工具
摘要:对于自己编写workflow 有时可能会比较复杂,maestro studio提供了基于ai 的强大能力,同时可以实时模拟器的页面与web 集成对于测试人员来说是一个很不错的选择,很值得看看,同时因为maestro studio 也是开源的,代码上也值得学习参考 参考资料 https://maest 阅读全文

posted @ 2023-10-07 10:52 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

maestro ios 简单试用
摘要:主要是体验下maestro 的使用 预备 对于ios 需要以来facebook 的idb 需要安装 参考安装命令 brew tap facebook/fb brew install facebook/fb/idb-companion 试用 下载示例 直接使用maestro 自带的 maestro d 阅读全文

posted @ 2023-10-07 10:43 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑

maestro 移动ui 自动化测试框架
摘要:maestro 是一个移动ui 自动化测试框架,基于yaml 定义就可以快速的实现移动ui 的测试,支持ios,android,reactnatice,fluttermaestro 安装简单,就是一个二进制文件 说明 对于需要进行移动端自动化测试的团队maestro 是一个很值得使用的工具 参考资料 阅读全文

posted @ 2023-10-07 10:25 荣锋亮 阅读(220) 评论(0) 推荐(0) 编辑

dbt 数据可观测性相关的一些扩展包
摘要:随着大家对于数据质量越来越重视,数据可观测性已经成为一个比较重要的工程化实践了,dbt core 实际上已经包含了一些简单的数据质量能力(比如model schema 定义中关于test 的处理),但是默认的还是比较弱,所以社区以及dbt 官方提供了不少其他的扩展可以更好的支持数据质量,以下是一个整 阅读全文

posted @ 2023-10-07 10:15 荣锋亮 阅读(72) 评论(0) 推荐(0) 编辑

使用pyenv 安装graalvm 23.1.0 试用
摘要:实际上graalvm 官方也有介绍基于pyenv 安装graalvm python 包的 安装 命令 pyenv install graalpy-23.1.0 效果 注意有些慢 使用 切换版本 pyenv local graalpy-23.1.0 执行python 代码 python app,py 阅读全文

posted @ 2023-10-06 22:43 荣锋亮 阅读(76) 评论(0) 推荐(0) 编辑

polars 基于rust 的dataframe 框架
摘要:polars 基于rust 开发,使用了arrow 列式存储格式实现的dataframe 框架 支持的特性 lazy | eager 之行 多线程 SIMD 查询优化 强大的表达式api 混合streaming (可以支持大于内存的数据) 支持各种语言调度(python,rust,nodejs,r) 阅读全文

posted @ 2023-10-06 10:34 荣锋亮 阅读(228) 评论(0) 推荐(0) 编辑

stepci 试用
摘要:stepci 是一个api 自动测试工具,以下是一个简单的试用 试用 支持的命令 package.json { "devDependencies": { "stepci": "^2.6.8" }, "scripts": { "app":"export STEPCI_DISABLE_ANALYTICS 阅读全文

posted @ 2023-10-06 10:16 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

stepci 开源api 自动测试框架
摘要:stepci 是基于nodejs 开发的,开源api 自动测试框架 包含的特性 语言无关 可以基于yaml,json,js 定义 支持多种框架 rest,graphl,grpc,trpc,soap 自托管 可以集成到ci/cd中,同时可以自己部署与行 可集成 可以很好的与其他工具集成 说明 step 阅读全文

posted @ 2023-10-06 09:59 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

dremio 24.2 新增druid arp 扩展
摘要:dremio 24.2 新增druid arp 扩展,此扩展在jdbc ce 版本的plugin 中, 我们可以通过反编译学习 参考图 参考资料 https://druid.apache.org/ 阅读全文

posted @ 2023-10-04 23:07 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

dremio 24.2 社区版发布
摘要:就在昨天,dremio 提供了社区版的下载地址,24.2 提供了不少新特性 主要新特性 delta lake 不少新功能支持(历史,快照) 反射hints 支持(可以基于声明式定义) 一些新的半结构化数据聚合参数 自动反射推荐功能(属于企业版特性) 一些查询计划的优化(主要是修复一些历史之行计划的问 阅读全文

posted @ 2023-10-04 10:49 荣锋亮 阅读(61) 评论(0) 推荐(0) 编辑

apache hop kettle 替换方案
摘要:apache hop 是一个apache 开源的 kettle替换方案,提供了kettle 任务的导入能力,整体来说目前估计ga 了,而且还算活跃 参考架构 如下图,包含了gui,server,metadata store,runner。。。还是比较完整的 支持的功能 pipeline 开发 就是k 阅读全文

posted @ 2023-10-04 09:36 荣锋亮 阅读(539) 评论(0) 推荐(0) 编辑

gradio 机器学习应用共享框架
摘要:gradio 是一个机器学习应用共享框架,不少开源机器学习模型都基于gradio 提供了可以快速体验模型的ui 参考使用 安装 pip install gradio 简单代码 app.py import gradio as gr def greet(name): return "Hello " + 阅读全文

posted @ 2023-10-02 20:56 荣锋亮 阅读(248) 评论(0) 推荐(0) 编辑

modin pandas 大规模数据处理方案
摘要:modin 是一个可以快速替换原生pandas 的方案,我们只需要替换一个简单的引用,就可以将pandas 的数据处理速度有很大的提升modin 支持与不少框架的集成(ray, dask,unidisk),目前modin 对于常用read 操作都有很不错的支持,参考图 参考架构 如下图,可以看出mo 阅读全文

posted @ 2023-10-01 21:57 荣锋亮 阅读(84) 评论(0) 推荐(0) 编辑

aws awswrangler 集成minio 简单试用
摘要:aws awswrangler 现在已经改名为aws-sdk-pandas,但是对于python 使用的时候安装已经是使用awswrangler 名称 以下是一个简单的集成 minio 的测试,核心是配置环境变量,这个也比较符合aws 对于相关资源的集成玩法 环境准备 docker-compose 阅读全文

posted @ 2023-10-01 21:34 荣锋亮 阅读(85) 评论(0) 推荐(0) 编辑

pandas 加载minio 文件数据
摘要:就是一个简单记录,基于s3 进行文件存储还是比较方便的 环境准备 docker-compose.yaml version: '3' services: minio: image: minio/minio ports: - "9002:9000" - "19001:19001" environment 阅读全文

posted @ 2023-10-01 09:03 荣锋亮 阅读(161) 评论(0) 推荐(0) 编辑

citus 12.1 新特性
摘要:最近pg 16的发布了,citus 也比较快直接很快就支持16了,同时citus 也发布了12.1 版本以下是一些新特性 新特性 pg 16 支持以及比较多的pg 16 特新到citus 分布式表的支持 pg 16 load lalance 支持,实际上是从citus 合并到pg 的 pg json 阅读全文

posted @ 2023-09-30 15:18 荣锋亮 阅读(124) 评论(0) 推荐(0) 编辑

tusd 2.0 发布
摘要:tusd 是基于golang 开发的,对于tus 断点续传协议的实现,既可以做为server 使用,也可以使用golang 包,开发自己的文件存储服务2.0了有不少提升,核心主要是hook 系统,类似的nodejs server 也实现不少hook,支持IETF 协议了,同时也提升了网络可靠性 说明 阅读全文

posted @ 2023-09-30 11:29 荣锋亮 阅读(124) 评论(0) 推荐(0) 编辑

dbt dbt-project-evaluator 扩展
摘要:dbt-project-evaluator 是官方提供的一个dbt 扩展,可以方便的自动帮助我们发现模型DAG的问题 支持的功能 协助模型的最佳实践 协助测试的最佳实践 协助文档的最佳实践 协助项目文件结构的最佳实践 协助模型物化最佳实践 协助模型治理最佳实践 目前支持的数据库 bigquery d 阅读全文

posted @ 2023-09-30 11:14 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

nginx-clojure nginx 1.25.2 版本docker 镜像
摘要:主要是测试下nginx-clojure 有nginx 1.25.2 的兼容性,顺便基于原有的构建弄一个方便测试的debug 版本的镜像 构建 构建命令 实际结合业务修改下 ./configure --prefix= --sbin-path=nginx --conf-path=conf/nginx.c 阅读全文

posted @ 2023-09-26 10:36 荣锋亮 阅读(174) 评论(0) 推荐(0) 编辑

开发一个简单的swift 包
摘要:swift 对于包包含了比较严格的访问控制,套路上与rust 比较类似,一般开发的项目都是自己项目的代码,以及引用别人开发 好的包,但是很多时候可能会有自己开发包共享别人的场景 简单包 可以直接使用swift 的cli 创建,或者手工 代码结构 ├── Package.swift └── Sourc 阅读全文

posted @ 2023-09-24 10:40 荣锋亮 阅读(59) 评论(0) 推荐(0) 编辑

上一页 1 ··· 35 36 37 38 39 40 41 42 43 ··· 186 下一页

导航