摘要:
如何在本地使用scala或python运行Spark程序 包含两个部分: 一,scala在本地能成功调用并运行spark接口的主要原理: 二、scala的编译与打包运行 三、python在本地能成功调用并运行spark接口的主要原理如下, 首先,依赖以下几个环境: 四、本地python调spark的 阅读全文
摘要:
Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录 Hadoop 2.6 的安装与配置(伪分布式) 下载并解压缩 配置 .bash_profile : export HADOOP_HOME=/Users/fan/Applications/hadoop-2.6 阅读全文