在线型业务/大数据场景/AI时代的技术栈
摘要：在线型业务的技术栈 首先当然是硬件，在线业务型的场景下，计算资源基本是CPU为主；存储资源则各种类型都有，主要是IO吞吐、时延、安全性等各种考虑；网络资源公网、内网类型，时延、吞吐考虑等。 在硬件之上（软件定义计算/存储/网络资源），基本都会使用类似K8S，或商用VMWare之类，来更方便的使用硬件
阅读全文
posted @ 2024-04-03 10:27
随笔分类 - 大数据&算法 / Hadoop
批处理（Batch或离线计算）和流计算（Streaming或实时计算）
摘要：大数据处理流程 课程：https://developer.aliyun.com/learning/course/432/detail/5385 流程 发 批处理（Batch或离线计算） 基础：google的三大论文——论文GFS、MapReduce、BigTable（kv存储） 基于上述论文，开发了
阅读全文
posted @ 2022-12-14 12:18
[转]深入HBase架构解析
摘要：HBase架构讲解非常清晰的一篇文章，转自 http://www.blogjava.net/DLevin/archive/2015/08/22/426877.htmlhttp://www.blogjava.net/DLevin/archive/2015/08/22/426950.htmlhttps:
阅读全文
posted @ 2017-05-17 11:47
学习Hadoop不错的系列文章（转）
摘要：http://www.cnblogs.com/xia520pi/archive/2012/04/22/2464934.html1）Hadoop学习总结 （1）HDFS简介 地址：http://forfuture1978.iteye.com/blog/615033 （2）HDFS读写过程解析 地址：http://blog.csdn.net/forfuture1978/article/details/6001302 （3）Map-Reduce入门 地址：http://blog.csdn.net/forfuture1978/article/details/6043926 （4）Map-...
阅读全文
posted @ 2014-03-18 09:20
