摘要: YARN 组件 "参考:Spark on Yarn | Spark,从入门到精通" YARN 采用 Master/Slave结构 ,包含ResourceManager 和 NodeManager ResourceManager 是 Master; NodeManager 是 Slave。 YARN的 阅读全文
posted @ 2019-07-09 15:16 lillcol 阅读(1201) 评论(0) 推荐(0) 编辑
摘要: Factory Method 工厂方法 模式定义: 定义一个用于创建对象的接口,让子类决定实例化哪一个类。Factory Method使得一个类的实例化延迟(目的:解耦,手段:虚函数)到子类。 组件: 抽象工厂(AbstractFactory) :提供了创建产品的接口,调用者通过它访问具体工厂的工厂 阅读全文
posted @ 2019-07-04 00:19 lillcol 阅读(529) 评论(0) 推荐(0) 编辑
摘要: 单一职责模式 Decorator:装饰者模式 通常情况下,扩展一个类的功能会使用继承方式来实现。 但继承具有静态特征,耦合度高,并且随着扩展功能的增多,子类会很膨胀。 此时可以使用组合关系来创建一个包装对象(即装饰对象)来包裹真实对象,并在保持真实对象的类结构不变的前提下,为其提供额外的功能。 Go 阅读全文
posted @ 2019-07-04 00:18 lillcol 阅读(235) 评论(0) 推荐(0) 编辑
摘要: 典型的三种组件协作模式 Template Method:模板方法模式 在软件构建过程中,对于某项任务,常常有 稳定 的整体操作结构,但是各个子步骤却有很多 改变 的需求,或者由于固有的原因无法和任务整体结构同时实现。 定义一个算法的骨架,讲一些步骤(变化的)延迟到子类中,是的子类可以复用一个算法的结 阅读全文
posted @ 2019-07-04 00:17 lillcol 阅读(745) 评论(0) 推荐(0) 编辑
摘要: 类加载概述 1. 在java代码中, 类型 的 加载、连接 与 初始化 过程都是在程序运行期间完成的 类型:class、interface(object本身)、类型可在运行期间生成,如动态代理。一种runting概念 加载:最常见的方式是将已经存在的类的字节码文件(.class文件)从磁盘上加载到内 阅读全文
posted @ 2019-07-04 00:16 lillcol 阅读(404) 评论(0) 推荐(0) 编辑
摘要: 类加载器的父亲委托机制 在父亲委托机制中,各个类加载器按照父子关系形成了树形结构,除了根类加载器之外,其余的类加载器都有且只有一个父加载器。 先让最顶层可以加在的父加载器加栽(所有可加载的加载器中,处于最顶层的那一个加载器加载,如果都不能加载,则失败) Bootstrap ClassLoader 启 阅读全文
posted @ 2019-07-04 00:16 lillcol 阅读(249) 评论(0) 推荐(0) 编辑
摘要: 这篇文章主要是对官网内容学习过程的总结,大部分是原文,加上自己的学习笔记!!! spark 2.0+内存模型 调优内存使用时需要考虑三个因素: 1. 对象使用的内存数量(您可能希望您的整个数据集都能装入内存); 2. 访问这些对象的成本 3. 垃圾收集的开销(如果对象的周转率很高)。 默认情况下,J 阅读全文
posted @ 2019-07-04 00:13 lillcol 阅读(888) 评论(0) 推荐(1) 编辑
摘要: 需求 将本地创建的一个项目上到SVN 网上很多从SVN下载到idea,提交、更新、删除等操作。 但是少有从本地上传一个项目到svn管理的案例 本文参考 "https://blog.csdn.net/caojidasabi/article/details/79480376" 根据自己的需求修改了某些步 阅读全文
posted @ 2019-05-14 16:56 lillcol 阅读(354) 评论(0) 推荐(0) 编辑
摘要: 安装环境或方式 环境: centos7_64 安装方式:官网下载安装mysql server ps:mysql安装其实不难,但是并没有把步骤记下来,所以我把安装的步骤整理出来方便以后使用 安装mysql 顺序执行下列语句 配置mysql 1. 配置编码格式 /etc/my.cnf 最后面添加 def 阅读全文
posted @ 2019-02-13 11:46 lillcol 阅读(413) 评论(0) 推荐(0) 编辑
摘要: ketlle基本介绍 kettle是纯java开发,开源的etl工具。可以在Linux、windows、unix中运行。有图形界面,也有命令脚本还可以二次开发。 kettle其实是以前的叫法,现在官方称为:PDI(Pentaho Data Integeration) Pentaho产品是一个用于访问 阅读全文
posted @ 2019-01-30 16:21 lillcol 阅读(450) 评论(0) 推荐(0) 编辑