随笔分类 - AI
摘要：HDFS的读写流程 HDFS读流程 这个图有点别扭，客户端Client放在了右边，不过无伤大雅。 客户端要读取数据，首先是向client发送请求，告诉它要读取某一文件，客户端接到请求后，返回相应的元数据信息。获取到元数据信息后，客户端通过FSDataInputStream依次读取各个datanode
阅读全文
摘要：Hive是什么 Hive 是 Hadoop 家族中一款数据仓库产品,Hive 最大的特点就是提供了类 SQL 的语法,封装了底层的 MapReduce 过程,让有 SQL 基础的业务人员,也可以通过SQL直接利用 Hadoop 进行大数据的操作。像我一开始学习MapReduce的时候，就是通过一个个
阅读全文
摘要：HDFS文件系统 HDFS全拼Hadoop Distributed File System 即Hadoop的分布式文件系统，它其实就是以文件块（block）的形式来存储文件。 在HDFS中，文件被切分为固定大小的数据块，数据块大小默认为64M（也可以设置成其它大小），如果文件大小未超过64M，也会单
阅读全文
