张超五 - 博客园

2017年8月14日

摘要： mapreduce的四个对象：客户端(client)，JobTracker，TaskTracker，Hdfsg 1.客户端(client) 编写mapreduce程序，配置作业，提交作业，这就是程序员完成的工作。 2.JobTracker 初始化作业，分配作业，与TaskTracker通信，协调整个阅读全文

posted @ 2017-08-14 22:21 张超五阅读(273) 评论(0) 推荐(0) 编辑

2017年8月13日

hadoop IO操作

摘要： 1.什么是数据完整性用户希望存储和处理数据的时候，不会有任何损失或者损坏。 hadoop提供两种校验： 1.校验和（常见循环冗余校验CRC-32) 2.运行后台进程来检测数据块 2.基本的基于文件的数据结构在处理小文件的时候，为了避免多次打开关闭流耗费计算资源，hdfs提供了两种类型的容器Seq 阅读全文

posted @ 2017-08-13 23:14 张超五阅读(555) 评论(0) 推荐(0) 编辑

java 多线程笔记

摘要：一、先简单粗暴解释一下一些与线程有关的概念 1.并行与并发并行：多个cpu实例或者多台机器同时执行一段处理逻辑，是真正的同时。并发：通过cpu调度算法，让用户看上去同时执行，实际上从cpu操作层面不是真正的同时。 2.资源共享多个线程调用资源，是同一个或多个资源。 3.线程安全在并发的情况之阅读全文

posted @ 2017-08-13 18:34 张超五阅读(299) 评论(0) 推荐(0) 编辑

java 四种方式读取文件

摘要：在学习java读取文件之间，应该先了解一下java读写文件常用的几种流，具体看本人博客http://www.cnblogs.com/Zchaowu/p/7353348.html 读取文件的四种方式：按字节读取、按字符读取、按行读取、随机读取一、按字节读取二、按字符读取三、按行读取四、随机读取阅读全文

posted @ 2017-08-13 16:20 张超五阅读(3986) 评论(0) 推荐(0) 编辑

InputStream、InputStreamReader、BufferedReader

摘要：（本文非原创，转自http://blog.csdn.net/double2hao/article/details/50321219) 最进在梳理java的文件读取，读取文件，当然要理解当中几个重要的IO流，下面是转自一片比较清晰的博客。一.java IO流 1.处理字节流的抽象类： InputSt 阅读全文

posted @ 2017-08-13 14:10 张超五阅读(4698) 评论(0) 推荐(0) 编辑

2017年8月12日

java 自动拆箱与装箱（基本数据类型与引用类型）

摘要：（本文章不为原创文章，摘抄，忘记了出处，抱歉） 1.Java数据类型在介绍java的自动装箱和拆箱之前，我们先来了解一下Java的基本数据类型。在Java中，数据类型可以分为两大种，Primitive Type（基本类型）和Reference Type（引用类型）。基本类型的数值不是对象，不能调阅读全文

posted @ 2017-08-12 21:17 张超五阅读(629) 评论(0) 推荐(0) 编辑

java 之equals与"=="的区别

摘要： 1.网上很多说法都是：==是比较内容是否一样，equals是比较是否是同一个对象。这种说法是错误的。注意：有一些同伴在测试这个问题的时候会用String、Integer等java自带的引用类型的变量进行测试，这时候必须记住三个要点： 1.String、Integer、Double等java自带的引阅读全文

posted @ 2017-08-12 21:13 张超五阅读(162) 评论(0) 推荐(0) 编辑

vmware搭建hadoop集群完整过程笔记

摘要：搭建hadoop集群完整过程笔记一、虚拟机和操作系统环境：ubuntu14+hadoop2.6+jdk1.8 虚拟机：vmware12 二、安装步骤：先在一台机器上配置好jdk和hadoop: 1.新建一个hadoop用户用命令：adduser hadoop 2.为了让hadoop用户有su 阅读全文

posted @ 2017-08-12 17:42 张超五阅读(3504) 评论(0) 推荐(0) 编辑