摘要：
package com.glsx.main; import com.glsx.constants.Constant; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase. ; import org.a 阅读全文
摘要：
package com.glsx.main; import com.glsx.constants.Constant; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase. ; import org.a 阅读全文
摘要：
package com.glsx.conf; import java.io.IOException; import java.io.InputStream; import java.util.Properties; public class ConfigurationManager { privat 阅读全文
摘要：
古往今来，凡大才者，无不深思熟虑！ 阅读全文
摘要：
经常要对数据库中的数据进行去重，有时还需要使用外部表填冲数据，本文档记录数据去重与外表填充数据。 date：2016/8/17 author:wangxl 1 需求 对user_info1表去重，并添加age项。 2 表数据 user_info1: + + + + + | id | name | s 阅读全文
摘要：
Doc说明： / Thread state for a thread blocked waiting for a monitor lock. A thread in the blocked state is waiting for a monitor lock to enter a synchron 阅读全文
摘要：
本文档基于hbase 0.96.1.1 cdh5.0.2,对HBase配置&启动脚本进行分析 date：2016/8/4 author:wangxl HBase配置&启动脚本分析 剔除window相关脚本，我们主要分析配置文件与.sh文件 1 文件概览 conf ├── hadoop metrics 阅读全文
摘要：
本文档是学习RDD经典论文《Resilient Distributed Datasets: A Fault Tolerant Abstraction for In Memory Cluster Computing》的学习笔记。 date：2016/8/3 author：wangxl 1 引言 一种分 阅读全文
摘要：
本文档主要收集大数据技术相关经典文章(译文)，经典读10遍胜于普通文章读千万篇。 "1.RDD：基于内存的集群计算容错抽象" "2.大型集群上的快速和通用数据处理架构" 阅读全文
摘要：
本文档基于Spark2.0，对spark启动脚本进行分析。 date：2016/8/3 author:wangxl Spark配置&启动脚本分析 我们主要关注3类文件，配置文件，启动脚本文件以及自带shell。 1 文件概览 conf/ ├── docker.properties.template 阅读全文
摘要：
本文档基于IEDA构建spark maven应用。 date： 2016/8/1 author: wangxl 1.下载IDEA https://www.jetbrains.com/idea/ 2.安装Scala插件 Plugins Scala Install Plugin 3.生成骨架 3.1 m 阅读全文
摘要：
本文档综合现在市面上的各类spark书籍，概括spark技术核心，“要事第一”原则，只抓核心，才能领悟实质。 spark核心分类： 1.环境配置相关(编译、搭建、配置、启动脚本) 1.1 源码编译 1.2 集群搭建 1.3 集群配置，脚本分析 1.4 IDE环境构建 2.Spark基础 2.1 RD 阅读全文
摘要：
Spark2.0编译 1 前言 Spark2.0正式版于今天正式发布，本文基于CDH5.0.2的Spark编译。 2 编译步骤 2.1 下载源码 wget https://github.com/apache/spark/archive/v2.0.0.tar.gz 2.2 解压配置 基于CDH5.0. 阅读全文
摘要：
老司机的spark maven pom文件 pom文件一： 4.0.0 com.glsx spark demo 1.0 SNAPSHOT jar spark demo http://maven.apache.org UTF 8 1.7 2.10.5 ${artifactId} <! 构建JDK ma 阅读全文
摘要：
有时linux系统中装了很多应用，我们又不能覆盖系统中设置的版本，此时我们就需要在脚本文件中设置特定版本。 export JAVA_HOME= export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH= 阅读全文