技术小白丁

2019年3月18日

摘要： 1、HDFS写流程客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本 1）跟NN通信阅读全文

posted @ 2019-03-18 09:39 技术小白丁阅读(8430) 评论(0) 推荐(2) 编辑

HDFS学习总结之API交互

摘要：第一种、shell交互官方文档：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/FileSystemShell.html 例子： 1、 hdfs dfs - 阅读全文

posted @ 2019-03-18 09:38 技术小白丁阅读(369) 评论(0) 推荐(0) 编辑

2019年3月15日

IO编程之NIO

摘要：从jdk1.4开始，java提供了一系列改进的输入/输出处理的新功能，这些功能被统称为新IO(New IO,简称NIO),这些类都被放在java.nio包以及子包中，并且对原java.io包中的很多类都以NIO为基础进行了改写，新增了满足NIO的功能。一、Buffer 与Buffer各种相关的类主阅读全文

posted @ 2019-03-15 11:07 技术小白丁阅读(315) 评论(0) 推荐(0) 编辑

IO编程之对象序列化

摘要：对象序列化的目标是将对象保存在磁盘中或者允许在网络中直接传输对象。对象序列化机制循序把内存中的java对象转换成平台无关的二进制流，从而允许把这种二进制流持久的保存在磁盘上，通过网络将这种二进制流传输到另一个网络节点。其他程序一旦获得了这种二进制流，都可以将这种二进制流恢复成原来的java对象。对阅读全文

posted @ 2019-03-15 11:05 技术小白丁阅读(196) 评论(0) 推荐(0) 编辑

IO编程之IO流

摘要： Java的IO流是实现输入、输出的基础，它可以方便的实现数据的输入输出操作。在Java中把不同的输入输出源（键盘、文件、网络连接）抽象表述为流(stream)。通过流可以使java程序使用相同的方式访问不同的输入输出源。一、流的分类 1、按照流的流向分：输入流和输出流输入流：只能从中读取数据，不阅读全文

posted @ 2019-03-15 11:04 技术小白丁阅读(337) 评论(0) 推荐(0) 编辑

IO编程之File类

摘要： File类是java.io包下代表与平台无关的文件及目录，程序操作文件和目录都可以通过File类来完成。值得指出的是，不管是文件还是目录都可以通过File类来操作。File能新建、删除、重命名文件和目录。File本身不能访问文件本身内容。如果需要访问文件内容，则需要输入输出流。 File类测试：文阅读全文

posted @ 2019-03-15 11:03 技术小白丁阅读(241) 评论(0) 推荐(0) 编辑

2019年3月14日

Greenplum安装总结

摘要： Greenplum安装总结一、环境说明服务器centos7 4台，一台Master节点,三台Segment节点: mdw 192.168.43.21 （master节点） sdw1 192.168.43.22 (segment节点，包含两个primary segment,两个mirror seg 阅读全文

posted @ 2019-03-14 09:36 技术小白丁阅读(7320) 评论(0) 推荐(1) 编辑

Greenplum简介

摘要： Greenplum简介 Greenplum是一种基于PostgreSQL的分布式数据库，其采用shared-nothing架构，主机、操作系统、内存、存储都是自我控制的，不存在共享。本质上讲Greenplum是一个关系型数据库集群. 它实际上是由数个独立的数据库服务组合成的逻辑数据库。与RAC不同阅读全文

posted @ 2019-03-14 09:28 技术小白丁阅读(1772) 评论(0) 推荐(0) 编辑

HDFS学习总结之安装

摘要： HDFS linux安装总结（基于hadoop-2.6.0-cdh5.7.0 伪分部安装） 1、jdk安装 1）直接下载jdk包放到安装目录即可（jdk-8u131-linux-x64.tar.gz解压到安装目录） 2）配置环境变量直接在 .bash_profile配置 export JAVA_ 阅读全文

posted @ 2019-03-14 09:03 技术小白丁阅读(233) 评论(0) 推荐(0) 编辑

HDFS学习总结之架构

摘要：一、hdfs介绍官网说明 Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.（提供对应用程序数据的高吞阅读全文

posted @ 2019-03-14 08:57 技术小白丁阅读(216) 评论(0) 推荐(0) 编辑

公告