摘要：
安装好jdk 减压hadoop压缩包 cd /home/hadoop/hadoop-2.7.3/etc/hadoop vi hadoop-env.sh 文件末尾处添加 jdk环境变量 export JAVA_HOME=/home/hadoop/bd/jdk1.8.0_144 vi core-site 阅读全文
摘要：
1.flume安装 将压缩包减压到当前目录 tar -zxf apache-flume-1.8.0-bin.tar.gz 配置环境变量 编辑当前目录中的 .bashrc 文件（这影响当前用户的环境变量文件若修改全局的可以修改其他文件） vi ~/.bashrc 添加环境变量 export FLUME 阅读全文
摘要：
/** * 远程shell脚本执行工具类 */public class RemoteShellExecutorUtils { private static final Logger logger = LoggerFactory.getLogger(RemoteShellExecutorUtils.c 阅读全文
摘要：
1、Spark优化 1） 使用foreachPartitions替代foreach。 原理类似于“使用mapPartitions替代map”，也是一次函数调用处理一个partition的所有数据，而不是一次函数调用处理一条数据。在实践中发现，foreachPartitions类的算子，对性能的提升还 阅读全文
摘要：
1：下载hadoop2.7.3并解压 2：配置hadoop2.7.3环境变量 HADOOP_HOME %HADOOP_HOME%\bin 3：下载hadoop-eclipse-plugin插件 网址：https://github.com/winghc/hadoop2x-eclipse-plugin 阅读全文
摘要：
一，单机秘密登录 进入/etc/ssh 文件夹 编辑sshd_config 文件（sshd_config是ssh 服务端文件，ssh_config是客户端文件） sudo vi sshd_config 将一下注释放开即可 RSAAuthentication yes #私钥认证PubkeyAuthen 阅读全文
摘要：
进入repos.d目录 cd /etc/yum.repos.d 创建临时文件夹repo.bak(文件夹名随意起 使用root权限) 将以下文件移到repo.bak文件夹（以防备用） -rw-r--r--. 1 root root 1926 Nov 27 2013 CentOS-Base.repo-r 阅读全文