摘要:
在官网上下载好安装包安装好之后。 在网上搜索下载一个JetbrainsIdesCrack-4.2.jar。 复制到idea安装目录下的bin目录 然后修改idea.vmoptions和idea64.vmoptions这两个文件。 在后面添加(-javaagent:后面加上jar包的路径): -jav 阅读全文
摘要:
sbt是一款Spark用来对scala编写程序进行打包的工具。 假设已经下载好sbt-launch.jar在download目录下,执行如下命令,将sbt安装在 /usr/local/sbt 中 接着在 /usr/local/sbt 中创建 sbt 脚本(vim ./sbt),添加如下内容: 保存后 阅读全文
摘要:
假设已经下载好spark-2.3.3-bin-hadoop.tgz在download目录下 这里采用Local模式(单机模式)的 Spark安装。 安装后,还需要修改Spark的配置文件spark-env.sh 编辑spark-env.sh文件(vim ./conf/spark-env.sh),在第 阅读全文
摘要:
启动 Hadoop,仅仅是启动了 MapReduce 环境,我们可以启动 YARN ,让 YARN 来负责资源管理与任务调度。 首先修改配置文件 mapred-site.xml,需要先进行重命名: 然后再进行编辑( gedit ./etc/hadoop/mapred-site.xml ): 接着修改 阅读全文
摘要:
PATH 环境变量(可执行 echo $PATH 查看,当中包含了多个目录)。例如我们在主文件夹 ~ 中执行 ls 这个命令时,实际执行的是 /bin/ls 这个程序,而不是 ~/ls 这个程序。系统是根据 PATH 这个环境变量中包含的目录位置,逐一进行查找,直至在这些目录位置下找到匹配的程序(若 阅读全文
摘要:
假设已经下载好hadoop-2.7.1在download目录下。 将 Hadoop 安装至 /usr/local/ 中: 输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息: Hadoop伪分布式配置 Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程 阅读全文
摘要:
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server: 安装后,可以使用如下命令登陆本机: 但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登 阅读全文
摘要:
假设已经下载好JDK1.8的安装包jdk-8u162-linux-x64.tar.gz在Download目录下 设置环境变量,打开当前用户./bashrc环境变量配置文件 在这个文件的开头位置,添加如下几行内容(i插入): 保存.bashrc文件并退出vim编辑器(编辑完后Esc退出编辑,再输入“: 阅读全文