摘要：
[toc] Hadoop相关问题解决 Hive 1.查询hivemeta信息，查到的numRows为 1 | 集群厂商 | 集群版本 | 是否高可用 | 是否开启认证 | | | | | | | cdh | 不限 | 不限 | 不限 | 在hivemeta库中可以通过以下sql查询表的元数据信息 其 阅读全文
摘要：
类基础java特性：跨平台，一次编译，到处运行一个JAVA类从编写到使用，会经过以下流程graph LRfile[.java文件]--编译-->cla[.class文件]cla--不同平台JVM解析-->command[机器指令]先编译成字节码，再由不同平台JVM解析，运行时不需要重编译。java虚拟机在执行字节码时，转换成机器指令。 为什么不解析成机器码？不用每次执行需要检查 保持兼容性 例如s... 阅读全文
摘要：
一、Spark是什么引用官方文档的一句话Apache Spark™ is a unified analytics engine for large-scale data processing.Apache Spark™是用于大规模数据处理的统一分析引擎。可以从这句话拆分出几个关键点统一大数据分析引擎/计算引擎何为统一Spark的主要目标是为编写大数据应用程序提供统一的平台，其中包括统一计算引擎和统... 阅读全文
摘要：
GC三问：哪些内存需要回收？什么时候回收？如何回收？程序计数器、虚拟机栈、本地方法栈随线程而生，随线程而灭，栈帧的内存分配在类结构确定下来就已知，在方法结束或者线程结束时就会回收。所以垃圾回收关注的是动态的堆内存。ps. 方法区也能被回收，主要回收废弃常量和无用类，但性价比高，不过多描述。1.哪些内存需要回收这个问题的关键就是确定哪些内存是存活着，哪些内存死去（不再会被用到的）引用计数算法有引用时... 阅读全文
摘要：
1.项目简介Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。官网地址：http://atlas.apache.org/2.项目架构Data Hub使用的是Generalized metadata architecture(GMA)，重点面... 阅读全文
摘要：
1.为什么要数据治理Ebay--Why do we do data governanceTo ensure security and privacy of the data and access control.确保数据和访问控制的安全性和私密性。To capture the metadata of datasets for security and end-user data consumpti... 阅读全文
摘要：
运行时数据区 程序计数器 当前线程执行的字节码的行号指示器 每条线程都有独立的程序计数器，各线程之间计数器互不影响，独立存储。 如果执行的是java方法，计数器记录正在执行的虚拟机字节码指令的位置； 如果执行的是native方法，计数器值为空（undefined） 虚拟机栈 每个方法在执行的同时会创 阅读全文
摘要：
死磕Spring源码之AliasRegistry 父子关系 代码实现 作为bean定义的最顶层接口，这个接口定义了管理别名的一些方法，主要作用是将名字 别名映射存到内存中。提供查找和校验的接口。 阅读全文
摘要：
如何获取json某一级节点的数据 最近做项目有获取和设置固定格式某一级节点值的需求。但是要一级一级地取对于多级的结构来说代码过于冗余且重复，于是写了个递归的方法根据json路径完成值的定点操作。废话不多说直接贴代码。 / 通用的 通过json路径找到json值 @param jsonObject 要 阅读全文
摘要：
Unable to find a constructor that takes a String param or a valueOf() or fromString() method 最近在做服务的dubbo rest改造，在启动服务的时候遇到这个错。 大意就是我的@QueryParam注解下的参 阅读全文
摘要：
[toc] java并发编程 1.常用类介绍 Semaphore Semaphore 类是一个计数信号量，必须由获取它的线程释放， 通常用于限制可以访问某些资源（物理或逻辑的）线程数目。 Semaphore包含三种操作 1. 初始化 2. 获取acquire() 3. 释放 release() 当信 阅读全文
