SVN的安装
摘要：
下载安装的客户端 下载地址：https://tortoisesvn.net/downloads.html 这个是下载下来的安装包 下载语言包 这个是下载下来的语言包 双击安装SVN安装包 选择安装的目录 双击安装语言包 接下来是汉化 在桌面空白处右键 选择中文就可以了！！！ 阅读全文
posted @ 2019-07-25 16:59 百里登峰 阅读(133) 评论(0) 推荐(0) 编辑
IDEA安装maven
摘要：
1.先到maven的官网下载安装包：http://maven.apache.org/download.cgi 解压安装包 2.配置环境变量 新建变量名MAVEN_HOME 变量值 D:\SoftWare\Maven\apache-maven-3.6.1 （就是你本地maven的路径） 在path后面 阅读全文
posted @ 2019-07-24 09:54 百里登峰 阅读(1792) 评论(0) 推荐(0) 编辑
18.linux日志收集数据到hdfs上面
摘要：
先创建一个目录 在这个job目录下创建upload.sh文件 对upload.sh进行编辑 然后新建目录，并上传日志文件 给脚本赋予权限 在HDFS上新建目录 执行脚本 可以看到结果 阅读全文
posted @ 2019-06-21 14:03 百里登峰 阅读(665) 评论(0) 推荐(0) 编辑
17.Azkaban实战
摘要：
首先创建一个command.job文件 然后打成zip压缩包 上传刚刚打包的zip包 上传完后可以执行他 可以定时执行 现在我们立马执行 现在我们要执行一个脚本 新建一个commad1.job文件 再编写一个hello,sh脚本 把两个文件都选上一起打包 上传刚刚打的zip包 执行 创建有依赖关系的 阅读全文
posted @ 2019-06-16 13:37 百里登峰 阅读(159) 评论(0) 推荐(0) 编辑
16.Azkaban的安装
摘要：
工作流调度器azkaban 2.1 概述 2.1.1为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划，需要一 阅读全文
posted @ 2019-05-19 22:00 百里登峰 阅读(303) 评论(0) 推荐(0) 编辑
15.sqoop数据从mysql里面导入到HDFS里面
摘要：
表数据 在mysql中有一个库userdb中三个表：emp, emp_add和emp_contact 表emp id name deg salary dept 1201 gopal manager 50,000 TP 1202 manisha Proof reader 50,000 TP 1203 阅读全文
posted @ 2019-05-17 18:01 百里登峰 阅读(4313) 评论(0) 推荐(0) 编辑
14.Sqoop把数据从HDFS导出到mysql
摘要：
创建数据文件 把数据文件上传到集群 在HDFS上创建目录 把数据文件上传到HDFS上 登录Mysql 在mysql里创建一个表 现在需要从HDFS上把数据导入到mysql中对应的表 执行命令 查看Mysql表的数据 阅读全文
posted @ 2019-05-17 12:07 百里登峰 阅读(1084) 评论(0) 推荐(0) 编辑
13.sqoop的安装
摘要：
上传sqoop压缩包，并解压 给sqoop一个软链接 给sqoop配置环境变量 使环境变量生效 给文件重命名一下 打开sqoop-env.sh并编辑 在/opt/modules/sqoop/lib目录下加入mysql的jdbc驱动包 验证一下 阅读全文
posted @ 2019-05-17 11:02 百里登峰 阅读(193) 评论(0) 推荐(0) 编辑
12.Flume的安装
摘要：
先把flume包上传并解压 给flume创建一个软链接 给flume配置环境变量 使环境变量生效 验证flume版本信息 然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 先用一个最简单的例子来测试一下程序环境是否正常 先在flume的conf目录下新 阅读全文
posted @ 2019-05-16 17:18 百里登峰 阅读(211) 评论(0) 推荐(0) 编辑
11.把文本文件的数据导入到Hive表中
摘要：
先在hive里面创建一个表 接下来创建数据文件 把本地的数据文件导入到hive表中 接下来把hdfs上的文件导入到hive表中 现在在hdfs上创建目录，并把本地文件上传到hdfs 在hive再创建一个表tt 把hdfs上的文件导入到hive的tt表里面 阅读全文
posted @ 2019-05-15 23:42 百里登峰 阅读(4580) 评论(0) 推荐(0) 编辑