09 2017 档案
摘要：前言 通过spark获取hbase数据的过程中，遇到了InputFormat。文章主要围绕InputFormat介绍。会牵扯到spark，mapreduce，hbase相关内容 InputFormat InputFormat是mapreduce提供的数据源格式接口，也就是说，通过该接口可以支持读取各
阅读全文
摘要：前言 文章不含源码，只是一些官方资料的整理和个人理解 架构总览 这张图在大街小巷里都能看到，感觉是hbase架构中最详细最清晰的一张，稍微再补充几点。 1) Hlog是低版本hbase术语，现在称为WALs。 2) 1个region包含了多个store，1个store包含了1个colum famil
阅读全文
摘要：写在前面 众所周知，scala一向宣称自己是面向函数的编程，（java表示不服，我是面向bean的编程！）那什么是函数？ 在接触java的时候，有时候用函数来称呼某个method（实在找不出词了），有时候用方法来称呼某个method，虽然method的中文翻译就是“方法”，但对于java来说，方法和
阅读全文
摘要：优化思路 内存优化 内存优化大概分为三个方向 1.所有对象的总内存（包括数据和java对象） 2.访问这些对象的开销 3.垃圾回收的开销 其中Java的原生对象往往都能被很快的访问，但是会多占据2-5倍或更多的内存，有下面4点原因 ·每个单独的java对象都有一个对象头（16字节），其中包括指向对象
阅读全文
