打赏

随笔分类 -  Hadoop HDFS概念学习系列

大数据的结构类型（结构化数据、半结构化数据、准结构化数据、非结构化数据）
摘要：不多说，直接上干货！ 结构化数据类型包括预定义的数据类型、 格式和结构的数据， 常见的比如关系型数据库中数据表里的数据 。 半结构化数据，具有可识别的模式并可以解析的文本数据文件， 比如XML数据文件 。 准结构化数据，具有不规则数据格式的文本数据， 使用工具可以使之格式化， 比如说包含不一样数据值 阅读全文
posted @ 2017-09-29 20:18 大数据和AI躺过的坑 阅读(10109) 评论(0) 推荐(0) 编辑
大数据入门基础系列之初步认识大数据生态系统圈（博主推荐）
摘要：不多说，直接上干货！ 之前在微信公众平台里写过 大数据入门基础系列之初步认识hadoop生态系统圈 http://mp.weixin.qq.com/s/KE09U5AbFnEdwht44FGrOA 大数据入门基础系列之初步认识大数据生态系统圈 1.概述 最近收到一些同学和朋友的邮件，说能不能整理一下 阅读全文
posted @ 2017-09-29 11:26 大数据和AI躺过的坑 阅读(3451) 评论(0) 推荐(0) 编辑
大数据入门基础系列之Hadoop1.X、Hadoop2.X和Hadoop3.X的多维度区别详解（博主推荐）
摘要：不多说，直接上干货！ 在前面的博文里，我已经介绍了 大数据入门基础系列之Linux操作系统简介与选择 大数据入门基础系列之虚拟机的下载、安装详解 大数据入门基础系列之Linux的安装详解 大数据入门基础系列之远程连接工具下载和安装详解 大数据入门基础系列之Apache版本的hadoop集群详细部署搭 阅读全文
posted @ 2017-09-27 23:18 大数据和AI躺过的坑 阅读(3276) 评论(0) 推荐(0) 编辑
关于hadoop hdfs里文件为啥上一级大小是0，进去又有大小问题解释？
摘要：问题 好像跟平时的理解不一样，外边是0，进去就是有大小了? 答：hdfs具体文件是针对具体文件的，不是文件目录。 文件夹大小为0，不是里面所有内容为0。 阅读全文
posted @ 2017-04-09 23:00 大数据和AI躺过的坑 阅读(985) 评论(0) 推荐(0) 编辑
hdfs里的文件下载HDFS之fsimage、metadata、edits、fstime（二十七）
摘要：不多说，直接上干货！ 首先，要有这个观念，元数据信息（fsimage + editslog）。 fsimage是在磁盘 metadata是在内存 ********************fsimage把内存的，序列化到磁盘了。******************** 元数据信息（fsimage + 阅读全文
posted @ 2016-09-03 14:32 大数据和AI躺过的坑 阅读(3471) 评论(0) 推荐(0) 编辑
Hadoop HDFS概念学习系列之hdfs里的文件下载闲谈（二十六）
摘要：不多说，这个很简单！ hdfs里的文件下载 可以，通过hadoop distributed system来下载，而且速度非常之快。涨知识！！！ 或者，通过命令行的方式，也可以！ ***********************************上传和下载。类似于一个网盘。************ 阅读全文
posted @ 2016-09-02 23:03 大数据和AI躺过的坑 阅读(513) 评论(0) 推荐(0) 编辑
Hadoop HDFS概念学习系列之HDFS升级和回滚机制（十二）
摘要：不多说，直接上干货！ HDFS升级和回滚机制 作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现。在任何有实际意义的HDFS系统中，丢失数据是不允许的，更不用说重新搭建启动HD 阅读全文
posted @ 2015-12-28 10:18 大数据和AI躺过的坑 阅读(1887) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示