有心有梦

摘要： 1、堆的概念 堆排序依赖的数据结构是完全二叉树，要想是完全二叉树，前提必须是二叉树（废话），二叉树就要求父亲结点至多有两个孩子，即可以有一个、两个或者没有孩子。 完全二叉树则是在二叉树的基础上多了一些限制条件，那就是： 1、要么二叉树的每一层都是满的，即除叶子结点之外，其他结点都必须拥有左右孩子； 阅读全文

摘要： 除了上一篇提到的通过在客户端调用封装好的API可以直接堆HDFS进行读写操作，那如果想要自己实现上述的API操作也是可以的，就是通过I/O流的方式实现对HDFS的读和写，其中涉及的几个类有： org.apache.hadoop.fs.FSDataOutputStream org.apache.had 阅读全文

摘要： org.apache.hadoop.fs.FileSystem是Hadoop中一个相当通用的文件系统的抽象基类，它是一个面向最终用户的接口类。应该将所有可能使用Hadoop分布式文件系统的用户代码编写为使用一个FileSystem对象。Hadoop DFS是一种多机系统，显示为单个磁盘，由于其容错能 阅读全文

摘要： hdfs-site.xml是HDFS的配置文件，其中包含了各种对HDFS集群的设置参数，比如集群中存储文件副本的数量，namenode辅助节点的地址等。对于hdfs-site.xml中的属性值，我们可以在不同的地方进行设置， 第一种是通过HDFS客户端代码进行对属性值进行设置，这是优先级最高的方式； 阅读全文

摘要： 通过反序列化生成对象的过程主要由以下几个步骤： 1、创建一个对象输入流，它可以包装一个其他类型的源输入流，如文件输入流； 2、 通过对象输入流的readObject()方法读取对象。 其中正是readObject方法返回了一个对象，这个对象就是根据序列化生成的文件而创建的对象，所以反序列化如何创建对 阅读全文

摘要： 在Windows10下安装Anaconda后，想要创建一个专门供pytorch使用的虚拟环境，但是创建的时候发现无法正常创建，报错了： “CondaHTTPError: HTTP 000 CONNECTION FAILED for url......” 一看就知道是因为网络原因，所以就修改源呗，找了 阅读全文

摘要： 记录一下常用的HDFS的Shell操作命令，它们基本上与Linux命令相同，只不过使用的时候书写需要多点格式。 一定要先给hadoop添加了环境变量，才能像我下面这样在每个命令前面写上“hadoop fs”，当然也可以使用“hdfs dfs”作为前缀，但是使用这个前缀的时候必须在hadoop的根据录 阅读全文

摘要： 想要搭建一个能够互相通信的集群并且能够避免每次IP的动态变化对我们的集群造成不必要的影响，给我们的集群分配固定的IP是十分必要的，而且为了方便，我们选择NAT网络模式，在这种模式下，外部机器访问不了我们内部的某个虚拟机，但是我们内部的虚拟机可以访问外部的IP。 前提条件： 1.你电脑的CPU开启了对 阅读全文

摘要： 1、想要在IDEA上配置自己独立安装的maven时，可能会产生IDEA和maven版本不兼容的问题。 我的IDEA是2018社区版的，最开始使用的maven是3.6.3，配置完成之后，发现无法正常启动maven项目， 报出了如下的错误： unable to import maven project 阅读全文

摘要： 今天在看《Java编程思想》中关于容器的那一章，其中提到了如何使用Arrays.asList向Collection中添加一组元素，Arrays是位于java.util包中的一个工具类，这个工具类主要包含了各种操作数组的方法，而asList方法是用来将一个数组或者一个用逗号分隔的元素列表（使用的可变参 阅读全文