推荐一些值得学习的开源项目和框架

image.png
今天收到球友的问题，让推荐一些值得看的开源项目，觉得 netty 这些太复杂了不太好上手。

确实如此，我们日常常用的 Spring、Netty 确实由于发展了多年，看起来比较头大。

下面我来推荐一些我看过同时觉得不错的项目(几乎都是我参与过的），由易到难，其中也会包含 Java 和 Go 的项目，包含主流的中间件和云原生项目。

Java 项目

xxl-job

难度：🌟🌟
推荐指数：🌟🌟🌟

xxl-job 是一个很经典的调度框架，目前在 GitHub 上也有 27k star 的关注，因为功能不复杂所以最近也没有怎么更新了。

大家日常都会使用这类调度框架，所以理解难度非常低，加上他的实现也比较简单，比如：

  • 使用 MySQL 的锁来简单粗暴的解决分布式锁的问题
  • 线程池的使用：因为每个任务的调度都需要尽可能的互相不影响，所以里面大量使用了线程池，同时对如何获取异步任务结果也有一些最佳实践。
  • RPC 调用：里面内置了一个 RPC 框架，也是作者编写的，其中的实现原理也不复杂，建议看看源码，可以更好的理解我们在工作中用到 rpc 框架。

cim

难度：🌟🌟🌟
推荐指数：🌟🌟🌟
这里夹了一点私货，就是我自己开源的一个分布式即时通讯系统，其实现在来看上一个版本的代码写的挺烂的，不过好在最近发布了 v2.0.0，提升了不少代码质量。

Oct-14-2024 11-09-54-min.gif
它具备 IM 即时通讯的基本功能，同时基于它可以实现：

  • 即时通讯
  • 消息推送
  • IOT 消息平台

通过 cim 你可以学习到分布式系统中：

  • 元数据是如何存放和同步的。
  • RPC 调用如何实现。
  • 长链接系统如何实现。
  • 复杂的分布式系统如何做集成测试等。

详细的介绍可以查看项目首页的 readme，发现有什么需要优化的地方（其实还蛮多 todo 没有做）都欢迎提交 PR。

PowerJob

难度：🌟🌟🌟
推荐指数：🌟🌟🌟🌟
PowerJob 也是一个调度框架，只是他有后发优势，结合了市面上其他调度系统的优点同时也新增了一些功能，以下是他功能的官方对比图：

社区相对于 xxl-job 也更加活跃，目前刚发布了 5.1.0 版本，同时社区也整理许多学习的文章和资料：

image.png

它使用了 Akka 来实现远程通信，对这部分内容感兴趣的朋友不容错过，可以看到一些最佳实践。
其中的代码写的也很规范，一些类的设计很好，可扩展性很高，比如常用的执行器都是通过一个
MapProcessor 扩展而来的。
image.png
image.png

推荐大家从任务调度那一块开始看：tech.powerjob.worker.actors.TaskTrackerActor#onReceiveServerScheduleJobReq

Pulsar

难度：🌟🌟🌟🌟
推荐指数：🌟🌟🌟🌟
image.png
Pulsar 是目前主流的云原生消息队列中间件，现在使用的公司也非常多，通过他你可以学习到：

  • API 设计：Pulsar 的 client 是直接面向开发者的，在易用性的前提下每次迭代升级还要考虑到兼容性。
  • 异步调用：Pulsar 里几乎所有的请求都是异步的，所以大量使用了异步➕回调（虽然也有一些坑），可以学到一些高性能代码的编写方式。
  • Netty 的最佳用法：消息收发的底层网络框架也是 Netty 支撑的，Pulsar 对它做了封装。
  • 基于 protocol 的多语言客户端。
    • 因为 Pulsar 的通信编解码使用的是 protocol，本身是可以基于它生成各种语言的 API，所以在此基础上编写其他语言的客户端就非常方便。

不过由于 Pulsar 本身的复杂性，上手起来门槛还是不低，推荐先从客户端的代码（Java 和 Go 的都可以）上手。

StarRocks

难度：🌟🌟🌟🌟🌟
推荐指数：🌟🌟🌟🌟
image.png

StarRocks 也是我最近才接触到的 OLAP 数据库项目，以前对这个领域的积累几乎为零，所以也是从头学习。

好在这段时间因为有需求也给它提交了几个 PR，逐渐熟悉起来了。
image.png

我接触下来这些开源项目，发现 StarRocks 这类数据库项目是最有前（钱）景的，毕竟和数据打交道的产品公司的付费意愿会更高一些。

不过该项目确实对新手不太友好，最好是已经接触过大数据领域再学习会更合适一些，但也不要怕，我就是一个纯小白，没基础就跟着代码 debug，反正都是 Java 写的总能看懂。

这里推荐先看看我之前写的本地搭建开发环境，这样就可以在 idea 里 debug 了。

OpenTelemetry

难度：🌟🌟🌟🌟
推荐指数：🌟🌟🌟🌟🌟

OpenTelemetry 现在作为云原生可观测性的事实标准，现在已经逐步成为各大公司必备的技术栈了。

通过一个 javaagent 就可以自动采集应用的 trace、metrics、logs 等数据，这里先推荐 opentelemetry-java-instrumentation，因为我们日常使用最多的就是基于这个项目打包出来的 javaagent，通过它可以学习到：

  • 如何编写任意函数的拦截器
  • trace 信息是如何在线程和进程之间传递的
  • 一些常用框架是如何运行的
    • 比如你需要了解 gRPC 的原理，就可以查看 OpenTelemetry 是如何对他埋点的，从而知晓他的核心原理。
  • 优雅的 API 设计

image.png
同时 OpenTelemetry 算是我看过最优雅的代码之一了，非常建议大家都看看。

如果对 OpenTelemetry 还不太熟悉，可以先看看我之前写过的文章。

Go（云原生项目）

cprobe

难度：🌟🌟🌟
推荐指数：🌟🌟🌟

cprobe 属于可观测性项目，他的目的是可以把各种 exporter 都整合在一起，比如 kafka_exporter, nginx_exporter, mysql_exporter 等。

同时还做了上层抽象，可以统一管理各种监控对象的配置，这样就可以部署一个进程监控所有的应用了。

通过这个项目可以学到：

  • 监控体系的基础知识，比如 Prometheus 和 metrics 等
  • Go 语言的基本用法

我之前写过一篇 手把手教你为开源项目贡献代码就是以 cprobe 为例来介绍的。

VictoriaLogs

难度：🌟🌟🌟🌟
推荐指数：🌟🌟🌟🌟

这是一个属于 VictoriaMetrics 的一个子项目，通过这个名字应该会知道他主要用于处理日志，可以把他理解为 ElasticSearch 的简易版，虽然功能简单了但资源消耗也会比 ES 低很多，具体可以看下面的压测图：

image.png

通过这个项目可以学到：

  • 数据在磁盘中是如何存储和查询的
  • Go 语言中关于 goroutine 和 channel 的一些最佳实践
    目前的版本还比较早，所以代码都不太复杂，建议大家可以从查询的入口开始看起。

总结

以上都是我正经接触过的项目，如果是想长期耕耘同时搞钱的话，推荐 StarRocks，目前也很火。

如果只是想提升在 Java 领域的水平，那推荐 Pulsar 和 OpenTelemetry，都有很多代码最佳实践。

如果想要入坑云原生和 Go 项目，那 cprobe 是比较合适的。

当然不管是哪个项目最主要的还是坚持，很多项目如果只是偶尔看一下很容易忘记，起码要做到真正运行起来然后 debug 过代码。

参考链接：

posted @ 2024-11-21 09:31  crossoverJie  阅读(335)  评论(0)  编辑  收藏  举报