摘要：
在官网上下载好安装包安装好之后。 在网上搜索下载一个JetbrainsIdesCrack-4.2.jar。 复制到idea安装目录下的bin目录 然后修改idea.vmoptions和idea64.vmoptions这两个文件。 在后面添加（-javaagent：后面加上jar包的路径）： -jav 阅读全文
摘要：
sbt是一款Spark用来对scala编写程序进行打包的工具。 假设已经下载好sbt-launch.jar在download目录下，执行如下命令，将sbt安装在 /usr/local/sbt 中 接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容： 保存后 阅读全文
摘要：
假设已经下载好spark-2.3.3-bin-hadoop.tgz在download目录下 这里采用Local模式（单机模式）的 Spark安装。 安装后，还需要修改Spark的配置文件spark-env.sh 编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第 阅读全文
摘要：
启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。 首先修改配置文件 mapred-site.xml，需要先进行重命名： 然后再进行编辑( gedit ./etc/hadoop/mapred-site.xml )： 接着修改 阅读全文
摘要：
PATH 环境变量（可执行 echo $PATH 查看，当中包含了多个目录）。例如我们在主文件夹 ~ 中执行 ls 这个命令时，实际执行的是 /bin/ls 这个程序，而不是 ~/ls 这个程序。系统是根据 PATH 这个环境变量中包含的目录位置，逐一进行查找，直至在这些目录位置下找到匹配的程序（若 阅读全文
摘要：
假设已经下载好hadoop-2.7.1在download目录下。 将 Hadoop 安装至 /usr/local/ 中： 输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息： Hadoop伪分布式配置 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程 阅读全文
摘要：
集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server： 安装后，可以使用如下命令登陆本机： 但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登 阅读全文
摘要：
假设已经下载好JDK1.8的安装包jdk-8u162-linux-x64.tar.gz在Download目录下 设置环境变量，打开当前用户./bashrc环境变量配置文件 在这个文件的开头位置，添加如下几行内容（i插入）： 保存.bashrc文件并退出vim编辑器(编辑完后Esc退出编辑，再输入“: 阅读全文