03 2019 档案
摘要：1)SpringIOC容器中 bean默认是单例 2) spring容器自动帮对象管理各个依赖关系
阅读全文
摘要：一、标准三层架构 1）数据访问层 主要是对原始数据（数据库或者文本文件等存放数据的形式）的操作层，而不是指原始数据，也就是说，是对数据的操作，而不是 数据库，具体为业务逻辑层或表示层提供数据服务． 2）业务逻辑层 主要是针对具体的问题的操作，也可以理解成对数据层的操作，对数据业务逻辑处理，如果说数据
阅读全文
摘要：阅读目录(Content) 一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agent结构 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 4.2、Flume数据流 4.3、Flume可靠
阅读全文
摘要：一、为什么需要消息系统 二、kafka 架构 2.1 拓扑结构 如下图： 图.1 2.2 相关概念 如图.1中，kafka 相关名词解释如下： 2.3 zookeeper 节点 kafka 在 zookeeper 中的存储结构如下图所示： 图.2 三、producer 发布消息 3.1 写入方式 p
阅读全文
摘要：这个是从网上找到的一份快速入门python的极简教程，大概一千行左右，个人觉得不错，特此收藏以备不时之需。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35
阅读全文
摘要：1.Hive1.1 在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中
阅读全文
摘要：一、HBase介绍 1、基本概念 HBase是一种Hadoop数据库，经常被描述为一种稀疏的，分布式的，持久化的，多维有序映射，它基于行键、列键和时间戳建立索引，是一个可以随机访问的存储和检索数据的平台。HBase不限制存储的数据的种类，允许动态的、灵活的数据模型，不用SQL语言，也不强调数据之间的
阅读全文
摘要：Hue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理Hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。 HUE官方地址http://
阅读全文
摘要：转自：http://www.importnew.com/1551.html 每个Java程序员迟早都会碰到下面这个错误： java.lang.OutOfMemoryError 这个时候一般会建议采用如下方式解决这个错误： 增加MaxPermSize值 增加最大堆内存到512M（-xmx参数） 这篇文
阅读全文
摘要：JDK(Java Development Kit)是程序开发者用来来编译、调试java程序用的开发工具包。JDK的工具也是Java程序，也需要JRE才能运行。为了保持JDK的独立性和完整性，在JDK的安装过程中，JRE也是 安装的一部分。所以，在JDK的安装目录下有一个名为jre的目录，用于存放JR
阅读全文
摘要：工具类config.properties# jbdc配置jdbc.datasource.size=10jdbc.url=jdbc:mysql://hadoop101:3306/database?useUnicode=true&characterEncoding=utf8&rewriteBatched
阅读全文
摘要：所谓的类加载机制就是JVM使用类加载器将编译生成的Class文件动态加载到JVM的内存空间中，最终形成可以被JVM使用的Java类型。一般情况下，Java应用开发人员不需要直接同类加载器进行交互，Java虚拟机提供的默认类加载器就已经能够满足大多数情况了。但是，如果想要往更深方向延伸，如热修复或者热
阅读全文
摘要：基础数据类型直接在栈空间分配， 方法的形式参数，直接在栈空间分配，当方法调用完成后从栈空间回收。 引用数据类型，需要用new来创建，既在栈空间分配一个地址空间，又在堆空间分配对象的类变量 。 方法的引用参数，在栈空间分配一个地址空间，并指向堆空间的对象区，当方法调用完成后从栈空间回收。局部变量 ne
阅读全文
摘要：准备安装 安装python下载可执行安装程序，其他两个有安装失败 安装开发工具 Python的基本数据类型 Number:数字、int:整数、浮点数:float(不存在双精度double、short、long),bool布尔类型：true/false complex复数 str字符串 10进制，2进
阅读全文
摘要：来源于：https://www.cnblogs.com/honey01/p/8351145.html Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase
阅读全文
摘要：优秀的文章：https://www.cnblogs.com/lsy-blogs/p/8268318.html 一、Kettle概念 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，
阅读全文
摘要：前言 很久没用练习一下，以下是上传项目到码云，注：将项目检出到eclipse为import-git-复制项目URL路径并输入账户密码-检出路径设置为工作目录、或者导入maven项目即可 最近做了两个框架整合的demo，为了以后温习，以及为新人提供参考，打算将项目发布到开源网站-码云上，网上查了些资料
阅读全文
