随笔分类 -  分布式

1 2 3 4 5 ··· 7 下一页

dremio DacDaemonYarnApplication 简单说明
摘要：DacDaemonYarnApplication 属于dremio 通过twill 集成yarn 的应用指南定义，核心是实现了标准的TwillApplication接口 前边有简单说过twill 的运行，一个是通过实现TwillRunnable 接口的，还有一个就是实现TwillApplicatio 阅读全文

posted @ 2023-02-05 11:04 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

apache twill 开发参考流程
摘要：尽管apache twill 已经退役了，但是已经集成的周边还是不少的，比如dremio 就使用到了twill 对于yarn 的集成支持 参考开发流程 TwillRunnable 接口 类似多线程开发，我们实现此接口的服务主要就是任务的处理 public class EchoServer imple 阅读全文

posted @ 2023-02-05 10:51 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

neon serverless postgres 简单试用
摘要：内容来自官方的docker-compose 内容，主要是测试试用 参考架构 从以上图可以看出，neon 应该包含了几个组件，safekeeper，pageserver，计算节点，以及对象存储，运行的服务也是参考此部署的，safekeeper 需要至少3个节点 实现了选举机制，内部试用了 部署dock 阅读全文

posted @ 2023-01-08 12:39 荣锋亮 阅读(563) 评论(0) 推荐(0) 编辑

apm + tracing 一些开源工具参考资料
摘要：内容来自signoz官方博客，可以参考 参考资料 https://signoz.io/blog/distributed-tracing-tools/https://signoz.io/blog/observability-tools/https://signoz.io/blog/apm-tools/ 阅读全文

posted @ 2022-04-01 23:45 荣锋亮 阅读(109) 评论(0) 推荐(0) 编辑

signoz 参考架构设计
摘要：参考图 从下图可以看出signoz 主要包含的组件collector 使用了社区的，数据存储基于clickhouse ，对于prometheus 的writer 使用了 query service 处理部分 prometheus 集成 参考图直接嵌入了prometheus，使用了prometheus 阅读全文

posted @ 2022-04-01 22:00 荣锋亮 阅读(1071) 评论(0) 推荐(0) 编辑

temporal 开源微服务编排引擎
摘要：temporal 来自与uber的Cadence，使用上与Cadence 类似，但是功能是相对更加强大，目前已经有不少的企业已经在使用此工具做为系统的调度处理，同时提供了java，golang，php，ts 的sdk 说明 对于微服务的编排调度，目前还是一个比较广的领域，微服务不是银弹，代码的问题也 阅读全文

posted @ 2022-03-30 21:36 荣锋亮 阅读(1946) 评论(0) 推荐(0) 编辑

ShedLock 分布式锁服务
摘要：ShedLock 实际上是一个java 的包，我们基于次可以实现灵活的锁服务（比较适合调度任务），功能还是比较强大的，而且比较简单支持的数据库以及类似中间存储还是比较多的，而且提供了灵活的扩展点（多种java 框架也是支持的） 参考资料 https://github.com/lukas-krecan 阅读全文

posted @ 2022-03-30 21:35 荣锋亮 阅读(82) 评论(0) 推荐(0) 编辑

coolify heroku & netlify 可选开源方案
摘要：coolify heroku & netlify 可选开源方案，基于js 开发，才功能上还是很不错的，使用了不少开源技术，值得学习下（比如关于haproxydataplaneapi 集成的） 支持的特性 参考资料 https://github.com/coollabsio/coolify 阅读全文

posted @ 2022-03-27 23:50 荣锋亮 阅读(152) 评论(0) 推荐(0) 编辑

juicefs 单机试用
摘要：juicefs 让我们可以提高对象存储的一致性以及更加方便的进行数据分析 参考架构 参考试用 mac 系统,同时注意mac 系统需要安装osxfuse 安装 brew tap juicedata/homebrew-tap brew install juicefs 创建文件系统 juicefs for 阅读全文

posted @ 2021-12-26 23:02 荣锋亮 阅读(213) 评论(0) 推荐(0) 编辑

minio 集成webhook 事件通知
摘要：以前有写过关于minio 的通知事件的，但是是基于kafka 的，而且时间已经很长了，以下是基于新版本minio 的一个demo 集成的webhook，同时开启了额console 方便管理 环境准备 docker-compose文件 version: "3" services: webhook: i 阅读全文

posted @ 2021-09-01 23:21 荣锋亮 阅读(2242) 评论(0) 推荐(0) 编辑

krakend 强大的api gateway
摘要：krakend 是一个强大的，区别与传统的 proxy，支持强大转换，聚合，以及移除数据，krakend 同时实现了 bff (backend for frontend ) 以及micro-frontends 模式，可以进行多rest api 的集合，以及进行隔离微服务client实现的 细节 一张 阅读全文

posted @ 2020-12-25 21:19 荣锋亮 阅读(1508) 评论(0) 推荐(1) 编辑

apache ignite docker集群运行试用
摘要：apache ignite 是一个很不错的内存计算平台 常见参考使用场景 应用缓存加速 数据集成hub 基于容器的集群环境部署 环境准备 说明为了方便基于静态ip发现的模式进行集群的搭建，关于静态ip配置，核心如下 <bean class="org.apache.ignite.spi.discove 阅读全文

posted @ 2020-10-14 19:18 荣锋亮 阅读(964) 评论(0) 推荐(0) 编辑

drill 学习 三 drill 参考架构介绍二
摘要：前边有简单介绍过drill的整体设计，以下是关于查询执行处理的简单介绍drill 包含了一个foreman 组件 foreman 主要 是进行会话以及sql 处理 sql 处理过程 参考图： 说明： 从客户端或应用程序接收查询的Drillbit成为查询的foreman，并驱动整个查询。Foreman 阅读全文

posted @ 2020-10-04 08:13 荣锋亮 阅读(392) 评论(0) 推荐(0) 编辑

hazelcast-jet docker 运行试用
摘要：上次有简单写过关于潜入模式的使用，以下是一个使用server 模式基于docker-compose 运行的demo hazelcast-jet 参考架构 环境准备 docker-compose 包含了一个management （注意多实例管理需要license）同时添加了prometheus 支持 阅读全文

posted @ 2020-07-15 20:16 荣锋亮 阅读(490) 评论(0) 推荐(0) 编辑

nginx 代理 coredns dns 服务
摘要：今天有写过一个简单的基于nginx 的stream 代理dns server的服务，以下是集成coredns 的一个demo 同时也包含了consul 以及使用coredns 的rewrite 以及loadbalance 插件 环境准备 docker-compose 文件 version: "3" 阅读全文

posted @ 2020-06-25 17:39 荣锋亮 阅读(1144) 评论(0) 推荐(0) 编辑

genie 来自netflix 的分布式大数据调度服务
摘要：Genie是Netflix开发的联合作业编排引擎。Genie提供REST-ful API来运行各种大数据工作，如Hadoop，Pig，Hive，Spark，Presto，Sqoop等。它还提供用于管理许多分布式处理集群的元数据以及在其上运行的命令和应用程序的API。 说明 官方同时也提供了docke 阅读全文

posted @ 2019-07-31 08:49 荣锋亮 阅读(891) 评论(0) 推荐(0) 编辑

Announcing the Operate Preview Release: Monitoring and Managing Cross-Microservice Workflows
摘要：转自：https://zeebe.io/blog/2019/04/announcing-operate-visibility-and-problem-solving/ Written by Mike Winters on Apr 9 2019 in the Releases category. To 阅读全文

posted @ 2019-04-11 14:41 荣锋亮 阅读(271) 评论(0) 推荐(0) 编辑

使用ipns 解决ipfs 内容更新的问题
摘要：ipds 可以使用dnslink 解决域名访问的问题，但是内容变更我们就会有新的hashid 解决方法我们可以使用ipns ，同时解决dnslink 解决域名的问题 环境准备 docker-compose 文件 version: "3" services: ipfs: image: ipfs/go- 阅读全文

posted @ 2018-12-26 12:37 荣锋亮 阅读(2147) 评论(0) 推荐(0) 编辑

ipfs webui 管理界面
摘要：ipfs 内置了一个webui 默认的端口是5001 访问地址 http://ip:5001/webui 环境准备 docker-compose 文件 version: "3" services: ipfs: image: ipfs/go-ipfs:latest hostname: ipfs_hos 阅读全文

posted @ 2018-12-26 10:04 荣锋亮 阅读(3913) 评论(0) 推荐(0) 编辑

使用ipns 为ipfs 系统自定义域名
摘要：ipns 可以帮助我们进行寻址操作，但是默认的hashid 还是太长，不好记忆，ipns 同时也支持 基于域名的解析，我们添加txt 记录就可以方便的解决ipfs 文件访问地址难记的问题,使用的是 一种叫做dnslink 的技术 环境准备 docker-compose version: "3" se 阅读全文

posted @ 2018-12-26 09:25 荣锋亮 阅读(1844) 评论(0) 推荐(0) 编辑

1 2 3 4 5 ··· 7 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示