2019年1月3日
HDFS 运行流程
摘要： 客户端文件读数据流程：1、客户端通过调用FIleSystem 的 open方法获取需要读取的数据文件。2、dfs 通过RPC来调用NameNode,获取要读取的数据文件对应的block存放在哪些DataNode上。3、客户端先到距离最近的DataNode上调用FSDataInputStream 的r 阅读全文
posted @ 2019-01-03 22:55 LakeInMyHeart 阅读(509) 评论(0) 推荐(0) 编辑
HDFS shell
摘要： HDFS shell 命令 HDFS 的基本命令格式hadoop fs -cmd <args>hdfs dfs -cmd <args> 其中cmd 是具体的命令，其前的- 不能省略。 Hadoop fs -ls -R /data 递归查看文件 -mkdir 创建目录 -mkdir -p 递归创建目录 阅读全文
posted @ 2019-01-03 19:32 LakeInMyHeart 阅读(119) 评论(0) 推荐(0) 编辑
hadoop 基础
摘要： 一、HDFS 的优缺点 hdfs 的优点：可以处理超大文件流式地访问数据运行于廉价的机器上 缺点：不适合实时性要求较高的场景无法高效存储小文件（HDFS 所能容纳的文件数目是由NameNode 的内存大小来决定的。而HDFS 中的元数据（文件和目录的属性信息）都存放在NameNode中） 二、HDF 阅读全文
posted @ 2019-01-03 17:23 LakeInMyHeart 阅读(135) 评论(0) 推荐(0) 编辑
2018年9月28日
session同步
摘要： 对于大型分布式网站来说，一个业务后面往往对应着多台服务器。用户的请求将在不同的服务器之间进行跳转，这样的情形下，我们就需要保持session在不同服务器之间的同步。 1、基于数据库的session共享。 原理：使用数据库专门用来存储session信息，保证session的持久化。 优点：服务器出现问 阅读全文
posted @ 2018-09-28 12:04 LakeInMyHeart 阅读(435) 评论(0) 推荐(0) 编辑
2018年9月27日
《深入了解Java虚拟机》笔记-jvm 类加载机制
摘要： 一、类的初始化 主动引用：比较常见的场景有 1、使用new关键字去实例化一个对象，读取或者设置一个类的静态字段（被final修饰的静态常量除外，这样的字段会在编译阶段被放入常量池中，不会触发类的加载），调用一个类的静态方法。 2、使用java.lang.reflect的方法对类进行反射调用的时候，如 阅读全文
posted @ 2018-09-27 00:01 LakeInMyHeart 阅读(115) 评论(0) 推荐(0) 编辑
2018年9月24日
项目运行错误-java.lang.NoClassDefFoundError: org/apache/commons/lang3/StringUtils
摘要： 前几天在写一个拦截器的时候，使用到了StringUtils这个工具类，但是使用postman模拟请求的时候，dispatcherServlet 一直报异常。断点调试，之前的语句一直没有问题，但是一旦调用StringUtils.blank()方法，就直接跳到异常处理模块。当时非常惊讶，这条语句本身是没 阅读全文
posted @ 2018-09-24 11:11 LakeInMyHeart 阅读(13705) 评论(0) 推荐(0) 编辑
2018年8月28日
设计模式--装饰器模式
摘要： 装饰模式(Decorator Pattern) ：动态地给一个对象增加一些额外的职责(Responsibility)，装饰模式可以在不需要创造更多子类的情况下，将对象的功能加以扩展。 与继承关系相比，关联关系的主要优势在于不会破坏类的封装性，而且继承是一种耦合度较大的静态关系，无法在程序运行时动态扩 阅读全文
posted @ 2018-08-28 21:24 LakeInMyHeart 阅读(105) 评论(0) 推荐(0) 编辑
2018年6月23日
java 异常处理（一）
摘要： 异常处理是我们日常开发中不可或缺的一部分。使用异常处理可以使我们的代码更加清晰规范，让我们能够快速定位到异常进行修正，使我们的程序更加健壮。除此之外还能给用户一个良好的出错提示。下面，我们将结合一个例子来谈谈异常处理机制。 1、示例 1 public class TestException { 2 阅读全文
posted @ 2018-06-23 13:02 LakeInMyHeart 阅读(203) 评论(0) 推荐(0) 编辑
2018年6月21日
MyFirstBlog
摘要： 第一篇博客，本来以为过程会很繁琐，没想到要比想象中的要简单一些。 自从大学接触软件开发以来，已有两三个年头了，为了方便，总是会将工作的内容记录到本地。虽然也曾想过开通博客，但潜意识里觉得会很麻烦，便一拖再拖。而且有时候会觉得，拖了这么长时间了，是不是有一些迟了，在这样犹疑的心态下，开通博客的事便不了 阅读全文
posted @ 2018-06-21 22:10 LakeInMyHeart 阅读(80) 评论(0) 推荐(0) 编辑