随笔分类 - spark
spark源码分析和技术分享
摘要：安装spark包 修改spark-env.sh文件 修改slaves文件 spark1 spark2 spark3 安装spark集群 在另外两个节点进行一模一样的配置，使用scp将spark和.bashrc拷贝到spark2和spark3即可。 启动spark集群
阅读全文
摘要：安装scala 2.11.4 安装Kafka包 搭建kafka集群 1、按照上述步骤在spark2和spark3分别安装kafka。用scp把kafka拷贝到spark2和spark3行即可。 2、唯一区别的，就是server.properties中的broker.id，要设置为1和2 启动kafk
阅读全文
摘要：安装ZooKeeper包 配置zoo.cfg 设置zk节点标识 搭建zk集群 1、在另外两个节点上按照上述步骤配置ZooKeeper，使用scp将zk和.bashrc拷贝到spark2和spark3上即可。 2、唯一的区别是spark2和spark3的标识号分别设置为1和2。 启动ZooKeeper
阅读全文
摘要：安装hive包 1、将apache-hive-0.13.1-bin.tar.gz使用WinSCP上传到spark1的/usr/local目录下。 2、解压缩hive安装包：tar -zxvf apache-hive-0.13.1-bin.tar.gz。 3、重命名hive目录：mv apache-h
阅读全文
摘要：安装hadoop包 1、使用课程提供的hadoop-2.4.1.tar.gz，使用WinSCP上传到CentOS的/usr/local目录下。 2、将hadoop包进行解压缩：tar -zxvf hadoop-2.4.1.tar.gz 3、对hadoop目录进行重命名：mv hadoop-2.4.1
阅读全文
摘要：CentOS 6.5安装 1、使用课程提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。 2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark1，选择操作系统为Linux，选择版本为Red Hat，分配10
阅读全文
摘要：Spark是什么？ Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Stre
阅读全文