01 2022 档案
摘要：写在前面 其实之前学这个东西，就觉得能挣钱，自己不知道学啥然后就随便学，没有抓手，无处赋能，哈哈哈哈哈。大数据学习路线（在网上看大佬说的）elk起手，hadoop，zookeeper，Hive/Hbase，spark，flink，最后到云计算，人工智能，学到这一步就技术大牛了，就随便挣钱，年薪百万起
阅读全文
摘要：基础知识 HDFS 被设计成用来使用低廉的服务器来进行海量数据的存储，那是怎么做到的呢？ 大文件被切割成小文件，使用分而治之的思想让很多服务器对同一个文件进行联合管理 每个小文件做冗余备份，并且分散存到不同的服务器，做到高可靠不丢失 类似于之前博客中写到的磁盘阵列 适合场景： 大文件多读取，且不支持
阅读全文
摘要：磁盘阵列 磁盘阵列出现的原因 解决单点故障，一个崩了不影响使用这也就是涉及到分布式理论的CAP原则，磁盘也就是数据持久化的地方。在单机时代，采用单块磁盘进行数据存储和读写的方式，由于寻址和读写的时间消耗，导致I/O性能非常低，且存储容量还会受到限制。另外，单块磁盘极其容易出现物理故障，经常导致数据的
阅读全文
