摘要: 1.什么是数据完整性 用户希望存储和处理数据的时候,不会有任何损失或者损坏。 hadoop提供两种校验: 1.校验和(常见循环冗余校验CRC-32) 2.运行后台进程来检测数据块 2.基本的基于文件的数据结构 在处理小文件的时候,为了避免多次打开关闭流耗费计算资源,hdfs提供了两种类型的容器Seq 阅读全文
posted @ 2017-08-13 23:14 张超五 阅读(555) 评论(0) 推荐(0) 编辑
摘要: 一、先简单粗暴解释一下一些与线程有关的概念 1.并行与并发 并行:多个cpu实例或者多台机器同时执行一段处理逻辑,是真正的同时。 并发:通过cpu调度算法,让用户看上去同时执行,实际上从cpu操作层面不是真正的同时。 2.资源共享 多个线程调用资源,是同一个或多个资源。 3.线程安全 在并发的情况之 阅读全文
posted @ 2017-08-13 18:34 张超五 阅读(299) 评论(0) 推荐(0) 编辑
摘要: 在学习java读取文件之间,应该先了解一下java读写文件常用的几种流,具体看本人博客http://www.cnblogs.com/Zchaowu/p/7353348.html 读取文件的四种方式:按字节读取、按字符读取、按行读取、随机读取 一、按字节读取 二、按字符读取 三、按行读取 四、随机读取 阅读全文
posted @ 2017-08-13 16:20 张超五 阅读(3986) 评论(0) 推荐(0) 编辑
摘要: (本文非原创,转自http://blog.csdn.net/double2hao/article/details/50321219) 最进在梳理java的文件读取,读取文件,当然要理解当中几个重要的IO流,下面是转自一片比较清晰的博客。 一.java IO流 1.处理字节流的抽象类: InputSt 阅读全文
posted @ 2017-08-13 14:10 张超五 阅读(4698) 评论(0) 推荐(0) 编辑