8 在IPython Notebook 运行Python Spark 程序

合集 - Python+Spark+hadoop 机器学习与大数据技术实战(10)

1.0.Python+Spark+Hadoop 机器学习与大数据技术2024-03-262.1.VirtualBox虚拟机软件的安装2024-03-263.2. Ubuntu Linux 操作系统安装2024-03-264.3.Hadoop Single Node Cluster安装2024-03-275.4.Hadoop Muti Node Cluster安装2024-03-286.5.Hadoop HDFS 命令2024-03-287.6.Hadoop MapReduce2024-03-288.7.Python Spark安装2024-03-28

9.8 在IPython Notebook 运行Python Spark 程序2024-03-29

10.9.RDD基本操作2024-03-25

收起

8.1安装Anaconda

下载：wget https://mirrors.pku.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh

安装：bash Anaconda3-2021.05-Linux-x86_64.sh -b

编辑~/.bashrc：sudo gedit ~/.bashrc

 source ~/.bashrc

查看python版本

 在data1，data2按同样的方法安装Anaconda

8.2在IPython Notebook使用Spark

创建工作目录：

mkdir -p ~/pythonwork/ipynotebook

cd ~/pythonwork/ipynotebook

输入：PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark，进入IPython Notebook界面

 新建一个ipython notebook，命名为test。

 测试（记得开hadoop集群）：

 8.3使用IPython Notebook 在Hadoop YARN - client模式运行

 启动Hadoop集群：start-all.sh

关闭hadoop安全模式: bin/hadoop dfsadmin -safemode leave

输入：PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop MASTER=yarn-client pyspark

重新运行test文件

 8.4.使用IPython Notebook在Spark Stand Alone模式运行

启动spark: /usr/local/spark/sbin/start-all.sh

输入命令：PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=spark://master:8081 pyspark --num-executors 1 --total-executor-cores 2 --executor-memory 512m

运行test：

进入master:8080 可以看到正在运行的PysparkShell