摘要： 在线上环境碰到一张 mongo 表里有重复数据，最终追溯到了 node mongo 插入数据那里，发现了 mongo 的 upsert 并非是线程安全的，在并发的情况下会产生重复数据。后面查阅 monog 的文档，也指出了使用 upsert 方法时要给表加上唯一索引。 Upsert with Uni 阅读全文

摘要： 最近在调研 trino 能不能实现像 spark 一样有计算和处理海量数据的能力，如果能够实现我们便可以抛弃 spark，彻底拥抱 trino。经调研发现 trino 最近推出的一个项目，名为 tardigrade，中文叫缓步动物，这种动物及其顽强，trino 推出的功能也如其名，让所有查询都变得顽 阅读全文

摘要： Trino 是我们的查询引擎，我们通过 trino 可读写不同 catalog 的数据。如今有业务需求引入了 ElasticSearch，需要将 Trino 的数据同步到 es 中。经调研发现 Logstash 满足我们的同步数据需求，于是便探索如果用 logstash 将 trino 的数据同步到 阅读全文

摘要： 背景 Trino 集群如果不做任何配置优化，按照默认配置上线，Master 和 Worker 节点都很容易发生 OOM。本文从 Trino 内存设计出发， 分析 Trino 内存管理机制，到限制与优化内存分配，使 Worker 节点不易发生 OOM。 Trino 内存类型 Trino(version 阅读全文

摘要： 最近在闲鱼上购入了一台2020版的联想小新 Pro13，i5 10200u 16g 512g配置，Ax201网卡。这台机子原生硬件就可以完美黑苹果了，不需要更换配件。只是Ax201网卡不能随航和隔空投送，WIFI和蓝牙能正常使用，要想随航和隔空投送得更换网卡。 安装过程 我是根据黑果小兵的教程刷入黑 阅读全文

摘要： 进程间通信方法有很多种，但大致都可以划分为俩种模型，共享内存模型和消息传递模型。 共享内存模型 在此模型中，程序通过查看与修改共享内存区域来通信。 因为使用的是共享内存区域，所以其消息传递速度是比消息传递模型要快的。 但只能局限于单台机器上的进程通信，并不能处理跨机器的进程通信。 消息传递模型 在此 阅读全文