摘要：
spark 1. 名词介绍 RDD(Resilient Distributed Dataset弹性分布式数据集)：这是spark的主要数据概念。有多种来源，容错机制，并且能缓存、并行计算。RDD在整个计算流程中会经过不同方式的变换，这种变换关系就是一个有向无环图。 需要注意的是，所有的方法在定义执行 阅读全文
摘要：
linux中的sar命令 sar命令的安装 [root@localhost test]# yum install sysstat 安装成功！ sar命令说明 语法格式 sar [ 选项 ] [ <时间间隔> [ <次数> ] ] sar -h 显示： -A:所有报告的总和 -b:显示I/O和传递速率 阅读全文
摘要：
python源码包 https://www.python.org/ftp/python/ spark源码包 https://archive.apache.org/dist/spark/ 清华大学开源软件镜像站 https://mirrors.tuna.tsinghua.edu.cn/ 阅读全文
摘要：
linux查看IP、域名、端口的网络是否相通 1. ping # 检索当前域名对应的IP地址 ping 域名 # 查看IP是否相通 ping IP 2. tlenet # 查看指定IP的端口是否相通，http默认端口为80，https默认端口为443 telnet ip/域名 port 3. wge 阅读全文
摘要：
spark修改控制台输出日志级别 修改conf/log4j.properties cd $SPARK_HOME/conf cp log4j.properties.template ./log4j.properties vi log4j.properties log4j.rootCategory=IN 阅读全文
摘要：
linux下查找文件中某字符串出现的行以及该行前后n行 查找指定字符串的前后n行 grep -A 100 -B 100 "要查找的字符串" 被查找的文件 -A after 后面 -B before 前面 查找指定字符串出现的行 grep -n "要查找的字符串" 被查找的文件 查找指定字符出现为止的 阅读全文
摘要：
修改python默认版本 1. 查看python3执行文件路径 [root@master ~]# which python3 /usr/local/bin/python3 2. 删除原有软连接 [root@master ~]# rm /usr/bin/python 3. 创建新的软连接 [root@ 阅读全文
摘要：
执行./configure时报错，configure: error: no acceptable C compiler found in $PATH 在安装python3.7，配置编译路径时会遇到以下问题： configure: error: no acceptable C compiler fou 阅读全文
摘要：
# Hadoop集群搭建 ### 1.创建三台虚拟机，本次使用的是centos7，关闭所有机器的防火墙。 1. 关闭防火墙： ```powershell [hadoop@localhost ~]$ systemctl stop firewalld.service ``` 2. 修改主机名，方便对虚拟 阅读全文
摘要：
jdk安装 1. 查看是否已经安装了java [root@hadoop10 mongod]# yum list installed |grep java 如有有jdk版本输出证明已经安装过了。 2. yum查看可用版本，并安装 [root@hadoop10 mongod]# yum -y list 阅读全文