百里登风

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

05 2019 档案

16.Azkaban的安装
摘要：工作流调度器azkaban 2.1 概述 2.1.1为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划，需要一 阅读全文

posted @ 2019-05-19 22:00 百里登峰 阅读(308) 评论(0) 推荐(0) 编辑

15.sqoop数据从mysql里面导入到HDFS里面
摘要：表数据 在mysql中有一个库userdb中三个表：emp, emp_add和emp_contact 表emp id name deg salary dept 1201 gopal manager 50,000 TP 1202 manisha Proof reader 50,000 TP 1203 阅读全文

posted @ 2019-05-17 18:01 百里登峰 阅读(4337) 评论(0) 推荐(0) 编辑

14.Sqoop把数据从HDFS导出到mysql
摘要：创建数据文件 把数据文件上传到集群 在HDFS上创建目录 把数据文件上传到HDFS上 登录Mysql 在mysql里创建一个表 现在需要从HDFS上把数据导入到mysql中对应的表 执行命令 查看Mysql表的数据 阅读全文

posted @ 2019-05-17 12:07 百里登峰 阅读(1119) 评论(0) 推荐(0) 编辑

13.sqoop的安装
摘要：上传sqoop压缩包，并解压 给sqoop一个软链接 给sqoop配置环境变量 使环境变量生效 给文件重命名一下 打开sqoop-env.sh并编辑 在/opt/modules/sqoop/lib目录下加入mysql的jdbc驱动包 验证一下 阅读全文

posted @ 2019-05-17 11:02 百里登峰 阅读(193) 评论(0) 推荐(0) 编辑

12.Flume的安装
摘要：先把flume包上传并解压 给flume创建一个软链接 给flume配置环境变量 使环境变量生效 验证flume版本信息 然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 先用一个最简单的例子来测试一下程序环境是否正常 先在flume的conf目录下新 阅读全文

posted @ 2019-05-16 17:18 百里登峰 阅读(213) 评论(0) 推荐(0) 编辑

11.把文本文件的数据导入到Hive表中
摘要：先在hive里面创建一个表 接下来创建数据文件 把本地的数据文件导入到hive表中 接下来把hdfs上的文件导入到hive表中 现在在hdfs上创建目录，并把本地文件上传到hdfs 在hive再创建一个表tt 把hdfs上的文件导入到hive的tt表里面 阅读全文

posted @ 2019-05-15 23:42 百里登峰 阅读(4621) 评论(0) 推荐(0) 编辑

10.hive安装
摘要：上传hive安装包并解压 给hive设置一个软链接 给hive配置环境变量 使环境变量生效 修改hive的配置文件 拷贝驱动mysql-connector-java-5.1.17.jar到 /opt/modules/hive/lib 这个是hive的配置文件初始情况 我们通过notepad++来连接 阅读全文

posted @ 2019-05-15 17:49 百里登峰 阅读(167) 评论(0) 推荐(0) 编辑

9.centos7 安装mysql
摘要：sudo yum install libaio # 安装依赖包 检查 MySQL 是否已安装 sudo yum list installed | grep mysql 也可以通过命令 rpm -qa|grep -i mysql 如果有，就先全部卸载，命令如下： sudo yum -y remove 阅读全文

posted @ 2019-05-15 12:34 百里登峰 阅读(1142) 评论(0) 推荐(0) 编辑

8.时间同步
摘要：先给每台机器安装ntp 利用xcall.sh脚步 在每台机器上都执行以下三条命令 阅读全文

posted @ 2019-05-13 23:33 百里登峰 阅读(165) 评论(0) 推荐(0) 编辑

7.编写mapreduce案例
摘要：在写一个mapreduce类之前先添加依赖包 新建一个WordCountMapper类 定义WordCountReducer类 定义WordCountRunner类 打成架包 把打包好的架包上传到集群 然后在集群上运行一个wordcount小案例 阅读全文

posted @ 2019-05-13 22:13 百里登峰 阅读(255) 评论(0) 推荐(0) 编辑

6.maven的安装
摘要：JAVA配置 JAVA_HOME=安装目录 PATH=%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin CLASSPATH=%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar 使用本地的maven环境 安装 Maven 之前要求先确 阅读全文

posted @ 2019-05-13 11:31 百里登峰 阅读(187) 评论(0) 推荐(0) 编辑

5.写一个sh脚本，可以通过一台机器控制多台机器
摘要：先创建一个脚步文件 对这个脚本进行编辑 给脚本赋予权限 执行脚本 把脚本移动到 /usr/local/bin/目录下 可以直接执行脚本 分别给node2 node3 node4 做一个软链接 这样就可以在node1节点上看到node2 node3 node4的jps状态了 通过编辑脚步来实现同时对多 阅读全文

posted @ 2019-05-12 21:38 百里登峰 阅读(345) 评论(0) 推荐(0) 编辑

4.分布式搭建
摘要：-修改hadoop的配置文件 首先修改core-site.xml，添加以下内容 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 修改workers文件，把datanode的节点配置进来 修改hadoop-env.sh文件 接下来我们把node1节点 阅读全文

posted @ 2019-05-10 17:30 百里登峰 阅读(761) 评论(0) 推荐(0) 编辑

3.Java和hadoop的安装
摘要：先创建目录 给目录赋予权限 其他3台机器也是一样的操作！！ 上传java安装包和hadoop安装包 解压jdk 配置jdk环境变量 使环境变量生效 接下来配置给每台机器配置免密码登录 添加以下语句。 另外三台机器也这样操作！！！！ 同时配置虚拟机与本地电脑的地址映射关系 添加以下语句 每台机器的各自 阅读全文

posted @ 2019-05-10 11:48 百里登峰 阅读(891) 评论(0) 推荐(0) 编辑

2.更新YUM源
摘要：查看本地源 先删除本地所有源 下载源仓库文件,xxx.repo 是当前的库文件生效 命令：yum clean cache把原来的缓存清除 运行yum makecache生成缓存 命令：yum makecache 更新系统 命令：yum -y update 其他3台机器也是一样的操作。 给hadoop 阅读全文

posted @ 2019-05-09 17:09 百里登峰 阅读(163) 评论(0) 推荐(0) 编辑

1. centos7 的安装
摘要：选择上海时间 我们选择桌面版 选择手动配置分区 选择标准分区 修改主机名 开始安装 设置密码 设置用户名 接下来等待安装完 同样的操作再安装3台机器！！这里不多赘述。 安装完之后就重启 接下来给不同机器配置静态ip centos7静态ip的配置方法可以参考：https://www.cnblogs.c 阅读全文

posted @ 2019-05-09 12:36 百里登峰 阅读(214) 评论(0) 推荐(0) 编辑

编写java 程序与Linux进行远程连接并运行linux下的脚本
摘要：我这里是通过连接到centos6.5的大数据集群的主节点，并通过运行hadoop的启动脚本来启动hadoop 本人采用的是SSH的方式连接 通过创建maven项目来编写代码，在编写代码之前需要先导入架包 在pom.xml文件里添加以下语句 编写连接代码： 运行一下代码 检测集群的启动进程： 可以看到 阅读全文

posted @ 2019-05-09 00:01 百里登峰 阅读(1181) 评论(0) 推荐(0) 编辑

java 利用辗除法求两个整数的最大公约数和最小公倍数
摘要：题目：输入两个正整数m和n，求其最大公约数和最小公倍数。 程序分析：利用辗除法。 运行结果： 阅读全文

posted @ 2019-05-06 22:43 百里登峰 阅读(1678) 评论(0) 推荐(0) 编辑

java 给不同成绩分等级
摘要：题目：利用条件运算符的嵌套来完成此题：学习成绩>=90分的同学用A表示，60-89分之间的用B表示，60分以下的用C表示。 程序分析：(a>b)?a:b这是条件运算符的基本例子。 运行结果： 阅读全文

posted @ 2019-05-06 21:22 百里登峰 阅读(3169) 评论(0) 推荐(0) 编辑

java 分解质因数
摘要：题目：将一个正整数分解质因数。例如：输入90,打印出90=2*3*3*5。 程序分析：对n进行分解质因数，应先p找到一个最小的质数k，然后按下述步骤完成： (1)如果这个质数恰等于n，则说明分解质因数的过程已经结束，打印出即可。 (2)如果n<>k，但n能被k整除，则应打印出k的值，并用n除以k的商 阅读全文

posted @ 2019-05-06 21:20 百里登峰 阅读(5046) 评论(1) 推荐(0) 编辑

java 寻找水仙花数
摘要：题目：打印出所有的"水仙花数"，所谓"水仙花数"是指一个三位数，其各位数字立方和等于该数本身。例如：153是一个"水仙花数"，因为153=1的三次方＋5的三次方＋3的三次方。 程序分析：利用for循环控制100-999个数，每个数分解出个位，十位，百位。 运行结果： 阅读全文

posted @ 2019-05-06 21:18 百里登峰 阅读(1200) 评论(0) 推荐(0) 编辑

java 统计素数个数问题
摘要：题目：判断101-200之间有多少个素数，并输出所有素数。 程序分析：判断素数的方法：用一个数分别去除2到sqrt(这个数)，如果能被整除，则表明此数不是素数，反之是素数。 运行结果： 阅读全文

posted @ 2019-05-06 21:17 百里登峰 阅读(2570) 评论(0) 推荐(0) 编辑

java 兔子生仔问题
摘要：题目：古典问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子对数为多少？ 程序分析： 兔子的规律为数列1,1,2,3,5,8,13,21.... 运行结果： 阅读全文

posted @ 2019-05-06 21:14 百里登峰 阅读(664) 评论(0) 推荐(0) 编辑

java 实现读取某个目录下指定类型的文件
摘要：我这里是读取txt类型的文件，在指定的目录下有不同类型的文件 实现代码，读取txt类型的文件并打印出该文件的绝对路径 运行结果 阅读全文

posted @ 2019-05-04 23:23 百里登峰 阅读(12092) 评论(0) 推荐(0) 编辑

通过java 来实现对多个文件的内容合并到一个文件中
摘要：现在有多个txt文本文件，需要把这么多个文件的内容都放到一个文件中去 以下是实现代码 运行结果： 阅读全文

posted @ 2019-05-04 22:24 百里登峰 阅读(18599) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示