07 2022 档案

Golang处理大数据时使用高效的Pipeline（流水线）执行模型

摘要：Golang被证明非常适合并发编程，goroutine比异步编程更易读、优雅、高效。本文提出一个适合由Golang实现的Pipeline执行模型，适合批量处理大量数据（ETL）的情景。想象这样的应用情景：（1）从数据库A（Cassandra）加载用户评论（量巨大，例如10亿条）；（2）根据每条评论阅读全文

posted @ 2022-07-08 19:37 jingsupo 阅读(1146) 评论(0) 推荐(0) 编辑