11 2021 档案
摘要:本文讲述了实际工作中使用minio从0到1搭建高性能文件服务器的项目经验,主要分为三大块内容,minio原理简析,minio在业务中实际应用以及minio分布式部署方案。
阅读全文
摘要:在5G技术刚出来,站在风口上的时候,好家伙,那简直铺天盖地,万物都可以5G,那时不少前端人都相信5G就是前端的未来。那时刚实习的我是看不懂的,但内心大受震撼,就在想啊,这5G究竟跟前端有啥关系呢?
阅读全文
摘要:极光高级工程师——蔡祖光 前言 Spark在2018开始在极光大数据平台部署使用,历经多个版本的迭代,逐步成为离线计算的核心引擎。当前在极光大数据平台每天运行的Spark任务有20000+,执行的Spark SQL平均每天42000条,本文主要介绍极光数据平台在使用Spark SQL的过程中总结的部
阅读全文
摘要:本文提出了一种大数据质量体系建设的方法,能对数据处理过程中的ETL任务进行数据质量监控,并根据监控结果进行必要的告警或任务中止。
阅读全文