摘要：
package com.jareny.java.anno; import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPol 阅读全文
摘要：
/mybatis-demo2/pom.xml /mybatis-demo2/src/main/resources/mybatis-config.xml /mybatis-demo2/src/main/resources/log4j.properties com.jareny.it.mybatis.e 阅读全文
摘要：
1.引入jar包：pom.xml 2.在/mybatis-demo/src/main/resources下创建 MyBatis的全局配置：mybatis-config.xml 3.在/mybatis-demo/src/main/resources下创建 日志配置文件：log4j.properties 阅读全文
摘要：
Spark 2.x管理与开发 Spark Core 一、什么是Spark？（官网：http://spark.apache.org） 1、什么是Spark？ 我的翻译：Spark是一个针对大规模数据处理的快速通用引擎。 Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利 阅读全文
摘要：
大数据技术之Scala 第一篇：Scala编程语言 一、Scala语言基础 1、Scala简介 Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。它也能运行于CLDC配置的Java ME 阅读全文
摘要：
大数据技术之HBase 一、HBaes介绍 1.1、HBase简介 HBase是一个分布式的、面向列的开源数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 大：上亿行、百万列 面向列：面向列（族）的存储和权限控制，列（簇）独立检索 稀疏：对于为空( 阅读全文
摘要：
大数据技术之Azkaban 一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作 阅读全文
摘要：
大数据技术之Sqoop 一、Sqoop简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。 请注意，1.99.7与1.4.6不兼容，且没有特征 阅读全文
摘要：
大数据技术之Hive 一 Hive基本概念 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL/SQL转化成MapReduce程序 1 阅读全文
摘要：
大数据技术之Flume 一、Flume简介 1) Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。 2) Flume基于流式架构，容错性强，也很灵活简单。 3) Flume、Kafka用来实时进行数据收集，Spark、Flink 阅读全文