摘要：
以centos7为例 将python升级到3.10.11 一、安装必备软件包 ## 第一步 基础包 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-dev 阅读全文
摘要：
一、查看需要挂载设备，如下sda(默认路径/dev/sda) 二、新建分区,执行如下命令进入操作 fdisk /dev/sda 1、m 查看可操作的命令 2、键入 n ，根据需要新建分区 3、键入 d ，即可删除分区 三、格式化新建的分区 命令（注：其中mkfs.xfs根据需要格成相应的文件格式）m 阅读全文
摘要：
第一种方式 操作：将第三方jar文件打包到最终形成的spark应用程序jar文件中 应用场景：第三方jar文件比较小，应用的地方比较少 第二种方式 操作：使用spark-submit提交命令的参数: --jars 要求： 1、使用spark-submit命令的机器上存在对应的jar文件 2、至于集群 阅读全文
摘要：
一、编译源码步骤演示详解 . 编译spark环境要求 1、必须在linux系统下编译（以centos6.4为例） 2、编译使用的JDK版本必须是1.6以上(以JDK1.8为例) 3、编译需要使用Maven版本3.0以上（以Maven3.3.9为例） 4、编译需要使用Scala（以scala-2.11 阅读全文
摘要：
一、编译源码步骤演示详解 需求：官网下载的hadoop包，执行hadoop命令时，会有警告信息，为去除此警告，需要重新编译hadoop相应版本的源码，替换hadoop安装包lib目录下的native(警告如下图所示) . 编译hadoop环境要求 1、必须在linux系统下编译（以centos6.4 阅读全文
摘要：
1、安装hadoop环境，以hadoop-2.5.0版本为例，搭建伪分布式环境，所需要工具包提供网盘下载：http://pan.baidu.com/s/1o8HR0Qu 2、上传所需要的工具包到linux相对就应的目录中 3、接上篇(Linux基础环境的各项配置(三)中最后一部分，需卸载系统自带的j 阅读全文
摘要：
接上篇，安装centos操作系统后，需对系统的基础环境做一些配置，如下： 1、设置静态IP（防止每次开机可能生成不一样的IP，导致与此虚拟机通信时出现错误）；DNS解析，可以ping通外网； 1.1 查找静态IP的网关地址 1.2 查找设置静态IP的范围 1.3 开始设置静态IP，注意下图第7步，此 阅读全文
摘要：
1、下载centos操作系统，提供百度云盘链接：http://pan.baidu.com/s/1pLHOR03 2、打开上篇在VMware中新建好的空白虚拟机，将centos安装在此空白虚拟机上，步骤如下图： 3、开启此虚拟机，出现如下图，选择，进行下一步，若没有出现下图或开机在命令行一直不动，则需 阅读全文
摘要：
一、VMvare虚拟机的安装 1、首先双击--你下载的安装包,这里我分享百度云盘，供大家下载：http://pan.baidu.com/s/1jImQSZG 2、VMware Workstation 10.0.0 的自动解压画面 3、欢迎向导--双击--下一步 4、先勾取我的接受--然后双击--下一 阅读全文