摘要：
volatile学习 一、 简单介绍 1、volatile是轻量级的synchronized，他在多处理器开发中保证了共享变量的“可见性”（和有序性）。可见性的意思是当一个线程修改一个共享变量时，另外一个线程能读到这个修改的值。如果volatile使用恰当的话，他会比synchronized执行成本 阅读全文
摘要：
这周主要学习了集合，IO，多线程 一、集合 1.集合主要继承图（核心卷1） 2.ArrayList arrayList是非同步的基于动态数组实现，在arrayList的类中描述到在集合在进行size、isEmpty、get、set、iterator、listIterator操作时，会发生fail-f 阅读全文
摘要：
以下基于jdk1.8 一、 集合类关系图 1. 接口关系图 2.集合中的类，（不包含线程安全的） 二、ArrayList 1.类定义 2.fail-fast简介 fail-fast 机制是java集合(Collection)中的一种错误机制。当多个线程对同一个集合的内容进行操作时，就可能会产生fai 阅读全文
摘要：
镜像是一种轻量级、可执行的独立软件包，它包含运行某个软件所需的所有内容，包括代码、运行时、库、环境变量和配置文件。 容器是镜像的运行时实例 - 实际执行时镜像会在内存中变成什么。默认情况下，它完全独立于主机环境运行，仅在配置为访问主机文件和端口的情况下才执行此操作。 1. 尝试Hello world 阅读全文
摘要：
Git 1. 安装 在安装之后（注意git config命令的--global参数，用了这个参数，表示你这台机器上所有的Git仓库都会使用这个配置，当然也可以对某个仓库指定不同的用户名和Email地址。） 2. 构建git仓库 1. 构建仓库(git init) 在一个 空文件夹 通过通过git i 阅读全文
摘要：
一 Kafka概述 1.1 Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn开发， 阅读全文
摘要：
一、 HBase的 二、基于Hadoop的HBase架构 HBase内置有zookeeper，但一般我们会有其他的Zookeeper集群来监管master和regionserver，Zookeeper通过选举，保证任何时候，集群中只有一个活跃的HMaster，HMaster与HRegionServe 阅读全文
摘要：
1、Oozie英文翻译 驯象人 2、Oozie简介 一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。 Oozie需要部署到Java Servlet容器中运行。 3、Oozie在集群中扮演的角色 定时调度 阅读全文
摘要：
1、Flume在集群中扮演的角色 Flume、Kafka用来实时进行数据收集，Spark、Storm用来实时处理数据，impala用来实时查询。 2、Flume框架简介 1.1 Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。 阅读全文
摘要：
sqoop(sql-to-hadoop) Apache Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。 可以把数据从hdfs倒到mysql 也可以把数据 阅读全文