【系统设计】笔记13 big table
摘要:What is BigTable? 分布式nosql database BigTable HBase Cassandra DynamoDB 文件系统:简单读写文件操作 数据库系统: 建立在文件系统,负责主治把一些数据存到文件系统,对外的接口比较方便操作数据。 数据最终都会存到文件里面。 从文件系统的
阅读全文
posted @
2024-02-28 06:01
dddddcoke
阅读(10)
推荐(0) 编辑
【系统设计】笔记10 GFS
摘要:分布式系统 谷歌三剑客 Distributed File System(Google FIle System) 如何有效存储数据? Nosql底层需要一个文件系统 Bigtable = Nosql database 怎么链接底层存储和上层数据 Map Reduce 怎么快速处理数据 GFS C++
阅读全文
posted @
2024-02-27 12:46
dddddcoke
阅读(10)
推荐(0) 编辑
【系统设计】笔记18 map reduce
摘要:大数据职位 分布式数据处理框架 count the word frequency of a web page? for循环,存在hashmap 缺点:只有一台机器, 慢,内存大小受限。 多台机器,并行处理 合并的时候是瓶颈。 map把任务打散,reduce把任务合并 step1 input 输入 0
阅读全文
posted @
2024-02-27 05:31
dddddcoke
阅读(5)
推荐(0) 编辑
【System Design Interview】笔记
摘要:2024/02/04 c1 - c4 Chapter 1: scale from zero to millions of users single server setup DNS domain name system is 3rd party service that parses domain
阅读全文
posted @
2024-02-05 13:10
dddddcoke
阅读(6)
推荐(0) 编辑