Spark理论学习笔记（一）
摘要：
1.调度 分为FIFO和FAIR两种模式 创建调度池：sc.setLocalProperty("spark.scheduler.pool", "pool6") 终止调度池：sc.setLocalProperty("spark.scheduler.pool6", null) 配置调度池： 通过conf 阅读全文
Hadoop学习笔记（一）
摘要：
HDFS适合一次写入，多次读取NameNode将文件系统的元数据存储在内存中，因此HDFS所能存储的文件总数受限于NameNode容量类：IOUtil Progressable URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory( 阅读全文
HBase学习笔记-高级（一）
摘要：
HBase1. hbase.id记录了集群的唯一标识；hbase.version记录了文件格式的版本号2. split和.corrupt目录在日志分裂过程中使用，以便保存一些中间结果和损坏的日志在表目录下，为该表的每一个region单独创建一个目录，目录的名字为region name的MD5哈希值3 阅读全文
HBase HDFS目录树
摘要：
一、0.94-cdh4.2.1版本系统级别的一级目录如下，用户自定义的均在这个/hbase 下的一级子目录下/hbase/-ROOT-/hbase/.META./hbase/.archive/hbase/.corrupt/hbase/.hbck/hbase/.logs/hbase/.oldlogs/... 阅读全文
HBase协处理器统计表数据量
摘要：
1.Java代码实现import org.apache.hadoop.hbase.client.coprocessor.AggregationClient;import org.apache.hadoop.hbase.client.coprocessor.LongColumnInterpreter;... 阅读全文
HBase学习笔记-基础（一）
摘要：
HBase版本：0.97 1.Get Gets实在Scan的基础上实现的。 2.联合查询(Join) HBase是否支持联合是一个网上常问问题。简单来说 : 不支持。至少不像传统RDBMS那样支持。 但并不表示等价联合不能在应用程序中支持，只是必须自己做。 两种方法，要么指示要写到HBase的数据， 阅读全文
系统架构师之旅（一）——软件架构设计：程序员向架构师转型必备总结
摘要：
做好架构设计的三个必要条件【原则一】看透需求【原则二】架构大方向确定【原则三】设计好架构的各个方面架构设计6大步骤需求分析必须涵盖功能、质量、约束三个方面需求分析工作主线是“确定系统目标->研究高层需求->建立用例模型”需求成果从“目标列表”到“范围框图+Feature树+上下文图”到“用例图+用例... 阅读全文
高效程序员的特征：聪明，懒惰
摘要：
这里我使用了聪明，懒惰和程序员这几个词。我说的这几个词的意思是：程序员：有积极活力的，专注于用代码解决真实世界里的问题。不是指那些梦想家，那些永远只想不做的人聪明：能够周全的思考问题(不是那些耍小聪明的人)懒惰：就像是程序中的lazy-loading，是指延后写代码的时间(而不是无所事事的人)。正确... 阅读全文
TOMCAT源码分析(启动框架)
摘要：
建议： 毕竟TOMCAT的框架还是比较复杂的， 单是从文字上理解， 是不那么容易掌握TOMCAT的框架的。 所以得实践、实践、再实践。 建议下载一份TOMCAT的源码， 调试通过， 然后单步跟踪其启动过程。 如果有不明白的地方， 再来查阅本文， 看是否能得到帮助。 我相信这样效果以及学习速度都会好... 阅读全文
Java线程池的原理及几类线程池的介绍
摘要：
刚刚研究了一下线程池，如果有不足之处，请大家不吝赐教，大家共同学习、共同交流。在什么情况下使用线程池？单个任务处理的时间比较短将需处理的任务的数量大使用线程池的好处：减少在创建和销毁线程上所花的时间以及系统资源的开销如不使用线程池，有可能造成系统创建大量线程而导致消耗完系统内存以及”过度切换”。线程... 阅读全文