随笔分类 - 03 - Hadoop体系
HDFS 是 Hadoop Distributed File System 的缩写，是 Hadoop 生态的基础之一。这里是关于 Hadoop（包括 HDFS、MapReduce 和 Yarn）的学习笔记，以及实践经验等的记录。
摘要：MapReduce入门学习，包括其分治的思想，框架本身的设计思想，以及其优劣势。欢迎朋友们一起探讨👏
阅读全文
摘要：HDFS 的联邦机制解决了 NameNode 的横向扩容问题，具体原理是什么样的呢？一起学习下🤝
阅读全文
摘要：HDFS 的 NameNode 是如何实现高可用的？JournalNode 承担着什么角色？Qurom Journal Manager 的工作原理是什么？本篇文章做个探讨，欢迎留言交流👏
阅读全文
摘要：HDFS 如何创建存档文件？怎么查看、解除存档文件？这篇文章做个介绍。
阅读全文
摘要：macOS 系统编译 Hadoop 3.2.1，要安装一些特殊的软件，还要需改源码的一些编译配置文件。
踩了很多坑，不过最终编译成功了。贴出来给有需要的朋友们提供参考✌️
阅读全文
摘要：运行 HDFS 命令，总是出现恼人的 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”？
来看看本文吧，本强迫症尝试了各种方法，彻底解决 macOS 上运行 Hadoop 程序总是出现上面警告的问题⚠️
阅读全文
摘要：HDFS 集群的性能瓶颈中，常常会听到“小文件太多”类似的描述。
为什么太多的小文件会影响 HDFS 的性能呢？解决方案之【合并小文件】也一起来学学吧💪
阅读全文
摘要：通过 HDFS 的 Java API，读写 HDFS 中的文件，包括创建目录、写文件、上传下载文件，遍历文件，访问权限控制等等。
阅读全文
摘要：Windows 的 IDEA 中运行 Hadoop 或 Spark 程序总是报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 要怎么解决呢？
阅读全文
摘要：HDFS 的元数据如何保存？FSImage 和 EditLog 如何合并？Checkpoint 的过程又是怎样的？
阅读全文
摘要：HDFS 的写入和读取过程，是一个面试必备的问题。你能说说这两个操作的详细流程吗？写入或读取过程中发生异常，HDFS 是怎样处理的呢？
阅读全文
摘要：HDFS 的副本机制是什么？它的机架感知机制（策略）又是什么？还有负载均衡机制呢？
这几个机制都是面试都常见问题，一定要知道哦😯
阅读全文
摘要：在 macOS 系统上搭建 HDFS 单机环境，用来开始大数据练习。
阅读全文
摘要：HDFS 是什么？它的适用场景有哪些？它的基础架构是什么样的？常说的 NameNode 和 DataNode 分别有什么作用？
阅读全文
