12 2018 档案
摘要：一：hbase的存储形式 hbase的内部使用KeyValue的形式存在，其key是有rowkey:family:column:logTime，value是其存储的内容。 其在region的是大多以升序的形式排列，唯一的是logtime是以降序的形式进行排列。 所以，按照越靠近左边的信息越容易被检索
阅读全文
摘要：一：hadoop安装 /etc/profile #在文件最后添加 export JAVA_HOME=/home/software/jdk1.7export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$JAVA_HOME/bin；$HADOOP_H
阅读全文
摘要：一：介绍 内存管理解决的两个问题：给对象分配内存 和 回收分配给对象的内存； 二：内存分配图 包含新生代（Eden区和两个surivivor区，默认比值为8:1），老年代 和 永久代； 三：对象分配的策略 1-对象优先在Eden分配 当Eden区没有足够的空间时，虚拟机会发起一次Minor GC。在
阅读全文
摘要：一：java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 3 java.lang.IllegalArgumentException: offset (0) + len
阅读全文
摘要：一： 先说说hashmap的数据结构 哈希表+数组+链表+红黑树 二：看下hashmap的成员 三：向集合中添加元素的过程 1- size<threshold,直接插入元素； size>threshold并且capacity <MIN_TREEIFY_CAPACITY，进行扩容； size>thre
阅读全文
摘要：100阶乘问题是经常面试问道的问题， 先来一段用加法计算的代码： 这个问题的实质性问题是如何解决越界的问题，100阶乘要远远超过int的最大值； 但java已经有解决方案了，那就是BigInteger，先看看其成员就知道其数据结构是怎么设计的了。 所以回答此问题也是用数组的形式进行解决数据大的问题。
阅读全文
摘要：一： 什么是不可变 如果一个对象，在它创建完成之后，不能再改变它的状态，那么这个对象就是不可变的。 二： String内部构成 实质上，String的底层是char[]数组，其存储关系为：字符串对象的引用 --> 字符串对象 --> char数组对象 调用图来自：https://blog.csdn.
阅读全文
摘要：想yarn上提交任务，报错： 这个是java找不到，修改yarn-env.sh 重新启动。 我们以第一句去网络上搜索相关答案，发现搜到的无外乎以下几种解决方案： 1，更改hadoop-env.sh中的java_home环境变量2，更改yarn-site.xml中的yarn.application.c
阅读全文
摘要：一：查询语句的结构 二：最重要的查询 match_all 经常与 filter 结合使用,相同的相关性查询。 match 相关性得分查询 multi_match range gt,gte,lt,lte term 精确值匹配 terms exists和missing 三：组合查询 must 文档 必须
阅读全文
摘要：几个特点： 1- 快速扩容，主要是横向扩容； 2- 共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。 3- 当一个节点被选举成为主节点时，它将负责管理集群范围内的所有变更，例如增加、删除索引，或者增加、删除节点等。 而主节点并不需要涉及到文档级别的
阅读全文
摘要：ElasticSearch的主要用处是相关性搜索： 每个文档都有相关性评分，用一个正浮点数字段 _score 来表示 。 _score 的评分越高，相关性越高。相似度计算主要包含； 1- 检索词频率 检索词在该字段出现的频率？出现频率越高，相关性也越高。 字段中出现过 5 次要比只出现过 1 次的相
阅读全文
摘要：查看步骤： 一：读取hbase数据库时出现异常 二：首先看了下hbase的监控，http://masterHostIp:60010/master-status 发现少了个serverName。下图是正常状态。 三：重新启动hbase，命令如下。期间也试过重启zookeeper，再启动hbase。 启
阅读全文
摘要：报错信息： 上面的类是在spark-core中，查看pom.xml 解决方法，下图中打钩： 原因是：IDEA默认下是不加载pom下的provided依赖的，而Eclipse是支持的。 可以参考：https://blog.csdn.net/lh11077/article/details/8014399
阅读全文
摘要：最近需要做一个UI，在UI上做一个可以提交的spark程序的功能； 1-zeppelin就是这样的一个工具，其内部也是比较繁琐的。有兴趣的可以了解下。 2-SparkLauncher，spark自带的类 linux下其基本用法： 运行结果： windows下运行： 如果linux能运行，那就安装wi
阅读全文
