摘要：
SparkContext 初始化的过程主要的核心：1） 依据 SparkContext 的构造方法中的参数 SparkConf 创建一个SparkEnv2） 初始化，Spark UI，以便 Spark Application 在运行是，方便用户监控，默认端口为 4040实时在线 授课 ， 专业 课程 阅读全文
2018年1月17日
2018年1月12日
摘要：
在hadoop下创建文件夹 bin/hdfs dfs -mkdir -p /usr/hadoop/spark/ touch wc.input 写一些文本进去、 上传到hdfs上 bin/hdfs dfs -put wc.input /usr/hadoop/spark/ 查看是否上传成功 bin/hd 阅读全文
摘要：
原文：http://www.linuxidc.com/Linux/2014-11/109238.htm 如何在CentOS 7上修改主机名 在CentOS中，有三种定义的主机名:静态的（static），瞬态的（transient），和灵活的（pretty）。“静态”主机名也称为内核主机名，是系统在启 阅读全文
2018年1月11日
摘要：
Configuration spark-env.sh HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.0-cdh5.4.0/etc/hadoop JAVA_HOME=/opt/modules/jdk1.7.0_67 SCALA_HOME=/opt/modules/sca 阅读全文
摘要：
查看下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.4.0-src.tar.gz 解压hadoop-2.6.0-cdh5.4.0-src.tar.gz 在etc/hadoop下修改下面文件 修改salves为主机名hostn 阅读全文
摘要：
有三种编译方式，此文采用make-distribution.sh编译 其余两种为maven 和SBT编译 1.配置jdk 配置maven 配置scala 2.修改spark下make-distribution.sh中的配置 减少下载时间 查看下载地址：http://archive.cloudera. 阅读全文
摘要：
Maven国内源设置 - OSChina国内源失效了，别更新了 原文：http://blog.csdn.net/chwshuang/article/details/52198932 最近在写一个Spring4.x + SpringMVC+Mybatis零配置的文章，使用的源配的是公司的私有仓库，但是 阅读全文
2018年1月10日
摘要：
原文：http://www.linuxidc.com/Linux/2016-09/134941.htm 1、卸载系统自带的jdk 1.1、查看该操作系统上是否已经安装了jdk [root@xhTest-1 ~]# rpm -qa | grep jdk 1.2、删除系统自带的jdk [root@xhT 阅读全文
摘要：
一、什么是Spark（火花）？ 是一种快速、通用处理大数据分析的框架引擎。 二、Spark的四大特性 1.快速：Spark内存上采用DAG（有向无环图）执行引擎非循环数据流和内存计算支持。 内存上比MapReduce快速100倍，磁盘上快10倍左右 MapReduce存储读取在磁盘上，大数据批量处理 阅读全文
2018年1月9日
