Ubuntu下导入PySpark到Shell和Pycharm中（未整理）

实习后面需要用到spark，虽然之前跟了edX的spark的课程以及用spark进行machine learning，但那个环境是官方已经搭建好的，但要在自己的系统里将PySpark导入shell（或在Python里可以import pyspark）还是需要做一些操作的。（下图，忘了先define一个sc，+。+|||）自己built的和官方pre-built的版本都可以使用这个方法。我们的目标是

任意目录下在shell里启动pyspark
在Python里import pyspark（包括ImportError: No module named py4j.java_gateway的解决办法，参考推库的文章，见参考）
导入pyspark到pycharm中也可以使用。因为我发现第1,2实现了后，尽管在shell中输入Python后，以及在ipython notebook中可直接import pyspark，但Pycharm（同IDEA）中无法直接import进来！需要配置环境变量

今天查了下有关导入pyspark的相关内容，stakoverflow上有人回答了这个问题（见后文reference），照着这个以及其它的回答提示混合起来看了下，实现了将Pyspark导入到Python里。下面我就略去安装Spark的过程（Spark，JDK，scala的环境配置），不过导入PySpark和安装Spark也都是配置环境变量，我下面将 /etc/profile和~/.bashrc两个文件下的内容放出。我这里用的Spark的版本（spark-1.2.0-bin- hadoop2.4）是1.2官方已经build好的version。

配置/etc/profile和~/.bashrc文件

配置Spark，JDK，Scala的环境变量，并声明Python的安装位置（完成下图就可以使用Spark了）。

其中有几个要说明的（算是简单的安装步骤了）：

下载Spark，JDK和Scala到指定目录（我这里就是当前用户Yuens目录下的MySpark文件夹）并解压缩。
通过pwd命令得到对应的JDK，Scala和Spark的根目录。分别复制到一个地方，比方说gedit什么的。
Ubuntu下shell里输入 sudo vim /etc/profile 并回车，编辑上图内容退出并保存。需要注意自己的版本和对应路径名。
保存退出后，使用命令 source /etc/profile 并回车，对刚刚修改的配置环境变量的文件进行更新生效。
这时候就可以进入Spark根目录下的bin，使用命令./pyspark或者./spark在命令行下交互式地使用spark了。

以上就是安装spark的过程。下面是配置PySpark导入到Shelll的文件配置。还是对/etc/profile文件进行配置，此外再对~/.bashrc文件进行配置。操作流程如下：

见上图

shell下输入 sudo vim ~/.bashrc 并回车，添加内容如上图的下半部分（export SPARK_HOME以及export PYTHONPATH，参考/etc/profile里的SPARK_HOME和PYTHONPATH，这里截图没截取完整），追加完内容后保存并退出。 shell下更新保存的配置文件 source ~/.bashrc 使之生效。
测试，在任意路径下输入pyspark均可成功启动PySpark。比方说在系统根目录下cd /，输入pyspark并回车，成功启动pyspark（输出日志略多，其实也可设置日志显示级别），可以进行一些简单的rdd操作作为测试。

ImportError: No module named py4j.java_gateway

出现这个问题，在shell键入 sudo vi .bashrc（其实还是编辑~/.bashrc文件），之后将之前新增进去的命令改为 export PYTHONPATH=

PyCharm环境变量配置

打开Pycharm按照如下进行配置，我这里提供的方法只是针对单一文件，当然如果这个文件是一个类或者之类的要导入的文件，其它没有引用它的文件也要使用到pyspark的话还是需要在对应文件中进行配置的。当然也有一劳永逸的方法，可以设置pyspark的的环境变量导入到默认的环境变量中去，大家感兴趣的可以自行研究（不是很麻烦）。这里不展开讨论，好吧开始。在PyCharm的menu里找到Run => Edit Configurations，点击打开。见下图，分为以下几个步骤：

STEP1：选择你要配置的环境变量的文件，在左侧选择对应的py文件；
STEP2：点击Environment那里的…省略号；
STEP3：点击+号新增环境变量；
STEP4：新增两个环境变量，对应内容，第一个Name是SPARK_HOME，其Value是你对应安装SPARK的绝对路径（注，不包括bin），第二个Name是PYTHONPATH，其Value是”

好了，现在让我们import pyspark测试一下吧，不过写了import pyspark之后或者类似下面这句话导入，对应的还是有红色波浪线，其实是可以正常运行的=。=好吧（可能是PyCharm神经末梢或者反射弧比较长 0.0），无视它。运行下面这个例子（部分截图，忘了对sc.stop()，==0）。结果用红色圈出来了。

后记

后来，我再次按照自己当时写的博客的方法来配置，没有配置对，同时，细心的同学可能也会发现，在上面pycharm中，中”from pyspark import SparkContext, SparkConf”下方有红色的波浪线，虽然可以用，但似乎还是存在问题。同时，我也在后来没有配置出来。

最近这两天在配置spark的环境，为的是在ipython notebook中以及pycharm中可以是用pyspark。昨天出了点小状况（可能是更新了系统，或者是配置环境变量有问题但我后来排除了这点，或者是和卸载了python3有关），导致①桌面无法显示侧边栏和上顶栏消失不见；②桌面右键无法显示更改桌面背景，也就是找不到控制面板；③系统默认字体改了，浏览器字体显示异常（直到现在也是）；④输入法无法是用；⑤ctrl+Alt+T无法打开终端，还好ctrl+Alt+F1可以，同时docky面板还在，面板上有pycharm，在pycharm里可以是用终端。

在百度了相关的问题后，但我这不属于通常的问题（网上给的答案无法解决）。无奈，找到一个恢复初始化桌面的一段代码，对桌面进行了初始化，勉强好了。虽然侧边栏和上顶部恢复了，但侧边栏图标初始化为了之前最初的时候的，浏览器在浏览网页时候字体有问题（控制面板设定字体无果）。

但是！我初始化桌面完成后，早上试了试pycharm！竟然好了。”from pyspark import SparkContext, SparkConf”这句底下没有红线，此外也可以跑。现在，我把在pycharm的configuration里的环境变量记录，以及把.bashrc 和/etc/profile文件中相关的地方记录。

pycharm的configuration

其实和上文中配置pycharm的一样：

Name为PYTHONPATH，其Value为/home/yuens/MySpark/spark-1.5.1-bin-hadoop2.6/python/lib/py4j-0.8.2.1-src.zip:/usr/bin/python
Name为SPARK_HOME，其Value为/home/yuens/MySpark/spark-1.5.1-bin-hadoop2.6

1 2	Name为PYTHONPATH，其Value为/home/yuens/MySpark/spark-1.5.1-bin-hadoop2.6/python/lib/py4j-0.8.2.1-src.zip:/usr/bin/python Name为SPARK_HOME，其Value为/home/yuens/MySpark/spark-1.5.1-bin-hadoop2.6

~/.bashrc

# Anaconda:added by user
export PATH="/usr/local/anaconda/bin:$PATH"
export PATH="/usr/local/anaconda/bin/ipython2:$PATH"

# MATLAB:added by user
export PATH="/usr/local/MATLAB/MATLAB_Production_Server/R2015a/bin:$PATH"

# IntelliJ IDEA:added by user
export PATH="/usr/local/idea-IU-141.2735.5/bin:$PATH"


# JDK enviroment configs
JAVA_HOME=/home/yuens/MySpark/jdk1.8.0_60
JRE_HOME=${JAVA_HOME}/jre
CLASSPATH=.${JAVA_HOME}/lib:${JRE_HOME}/lib
PATH=$PATH:${JAVA_HOME}/bin


# Scala enviroment configs
PATH=$PATH:/home/yuens/MySpark/scala-2.11.7/bin

# Spark enviroment configs
SPARK_HOME=/home/yuens/MySpark/spark-1.5.1-bin-hadoop2.6
PATH=$PATH:${SPARK_HOME}/bin

# Python configs
#PYTHONPATH=/usr/local/anaconda/bin/python
PYTHONPATH=/usr/bin/python
PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/bulid:$PYTHONPATH


export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

# Anaconda:added by user

export PATH="/usr/local/anaconda/bin:$PATH"

export PATH="/usr/local/anaconda/bin/ipython2:$PATH"

# MATLAB:added by user

export PATH="/usr/local/MATLAB/MATLAB_Production_Server/R2015a/bin:$PATH"

# IntelliJ IDEA:added by user

export PATH="/usr/local/idea-IU-141.2735.5/bin:$PATH"

# JDK enviroment configs

JAVA_HOME=/home/yuens/MySpark/jdk1.8.0_60

JRE_HOME=${JAVA_HOME}/jre

CLASSPATH=.${JAVA_HOME}/lib:${JRE_HOME}/lib

PATH=$PATH:${JAVA_HOME}/bin

# Scala enviroment configs

PATH=$PATH:/home/yuens/MySpark/scala-2.11.7/bin

# Spark enviroment configs

SPARK_HOME=/home/yuens/MySpark/spark-1.5.1-bin-hadoop2.6

PATH=$PATH:${SPARK_HOME}/bin

# Python configs

#PYTHONPATH=/usr/local/anaconda/bin/python

PYTHONPATH=/usr/bin/python

PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/bulid:$PYTHONPATH

export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

/etc/profile

# Anaconda:added by user
export PATH="/usr/local/anaconda/bin:$PATH"
export PATH="/usr/local/anaconda/bin/ipython2:$PATH"

# MATLAB:added by user
export PATH="/usr/local/MATLAB/MATLAB_Production_Server/R2015a/bin:$PATH"

# IntelliJ IDEA:added by user
export PATH="/usr/local/idea-IU-141.2735.5/bin:$PATH"


# JDK enviroment configs
JAVA_HOME=/home/yuens/MySpark/jdk1.8.0_60
JRE_HOME=${JAVA_HOME}/jre
CLASSPATH=.${JAVA_HOME}/lib:${JRE_HOME}/lib
PATH=$PATH:${JAVA_HOME}/bin

# Scala enviroment configs
PATH=$PATH:/home/yuens/MySpark/scala-2.11.7/bin

# Spark enviroment configs
SPARK_HOME=/home/yuens/MySpark/spark-1.5.1-bin-hadoop2.6
PATH=$PATH:${SPARK_HOME}/bin

# Python configs
PYTHONPATH=/usr/local/anaconda/bin/python
#PYTHONPATH=/usr/bin/python
PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/bulid:$PYTHONPATH

export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH