生心无住

2018年8月9日

摘要： 1.安装jdk 2.安装scala 参照jdk的安装 3.ssh 免密码登录 4.安装hadoop 以上四步请参照 centos7 安装hadoop2.7.6（分布式） 5.安装spark 1）官网下载对应版本 https://archive.apache.org/dist/spark/spark- 阅读全文

posted @ 2018-08-09 14:39 生心无住阅读(827) 评论(0) 推荐(0) 编辑

centos7 安装hadoop2.7.6（分布式）

摘要：本文只做简单介绍，具体步骤操作请参考centos6.5 安装hadoop1.2.1亲测版本篇只简单介绍安装步骤 1.安装目录 /usr/local/hadoop （HADOOP_HOME） 2,创建group hadoop groupadd hadoop groupadd hadoop 3.创建用阅读全文

posted @ 2018-08-09 10:55 生心无住阅读(887) 评论(0) 推荐(0) 编辑

centos6.5 安装hadoop1.2.1亲测版

摘要：本篇只简单介绍安装步骤 1. 角色分配 10.11.84.4 web-crawler--1.novalocal master/slave 10.11.84.5 web-crawler--2.novalocal slave 10.11.84.6 web-crawler--3.novalocal sla 阅读全文

posted @ 2018-08-09 10:22 生心无住阅读(261) 评论(0) 推荐(0) 编辑

2018年4月15日

spark中的多目录输出及压缩

摘要：最近接到一个需求，需要对spark的结果分目录输出，百度之后找到了解决方案，大多都是spark 按照key分目录输出，但是在文件当中，会把key也输出出来，在这里以key作为目录是想建hive表时把 01,02当做分区的，结果文件中不需要保存key值。其实在mr中也有类似需求，我的输出只要key- 阅读全文

posted @ 2018-04-15 21:19 生心无住阅读(2323) 评论(0) 推荐(0) 编辑

linux下安装git

摘要： 1.git 官网下载git tar包 git-2.9.5.tar.gz 2.解压tar包 tar -zxvf git-2.9.5.tar.gz cd git-2.9.5 tar -zxvf git-2.9.5.tar.gz cd git-2.9.5 3.编译安装 make prefix=/usr/l 阅读全文

posted @ 2018-04-15 17:55 生心无住阅读(3805) 评论(0) 推荐(0) 编辑

git常用操作

摘要：这是一个极为简单的git笔记，只包含相关命令 1.git安装后自报家门，姓名和邮箱 $ git config --global user.name "Your Name" $ git config --global user.email "email@example.com" 2.创建工作区，初始化阅读全文

posted @ 2018-04-15 17:37 生心无住阅读(4590) 评论(0) 推荐(3) 编辑

公告