随笔分类 -  大数据

cloudera manager server迁移
摘要：一、迁移背景 服务器出了问题，导致整个cm server界面呈现出不可用的状态，也就是获取不到各个大数据组件以及主机相关的状态的信息，整个cm server的前端界面处于瘫痪的状态，不可用，刚开始怀疑是存放元数据的mysql有问题，但是经过验证，一点问题也没有，后面发现登陆服务器很卡顿，但是发现cp 阅读全文
posted @ 2021-02-03 20:19 一寸HUI 阅读(702) 评论(0) 推荐(1) 编辑
hadoop生态系列
摘要：1、hadoop高可用安装和原理详解 2、hadoop2.7+spark2.2+zookeeper3.4.简单安装 3、windows下通过idea连接hadoop和spark集群 4、hadoop2.7之作业提交详解（上） 5、hadoop2.7之作业提交详解（下） 6、hadoop2.7作业提交 阅读全文
posted @ 2019-09-20 23:29 一寸HUI 阅读(2290) 评论(0) 推荐(0) 编辑
hadoop2.7作业提交详解之文件分片
摘要：在前面一篇文章中（hadoop2.7之作业提交详解（上））中涉及到文件的分片。 JobSubmitter.submitJobInternal方法中调用了int maps = writeSplits(job, submitJobDir); //设置map的数量，而map的数量是根据文件的大小和分片的大 阅读全文
posted @ 2019-07-31 15:24 一寸HUI 阅读(1436) 评论(0) 推荐(0) 编辑
hadoop2.7之作业提交详解（下）
摘要：接着作业提交详解（上）继续写：在上一篇（hadoop2.7之作业提交详解（上））中已经讲到了YARNRunner.submitJob() [WordCount.main() -> Job.waitForCompletion() -> Job.submit() -> Job.connect() -> 阅读全文
posted @ 2019-07-31 14:40 一寸HUI 阅读(1692) 评论(0) 推荐(0) 编辑
hadoop2.7之作业提交详解（上）
摘要：根据wordcount进行分析： 这上面是个简单wordcount的代码，这里就不一一说明了，我们首先看main方法：获取一个job对象，然后经过一系列的设置，最后调用waitForCompletion方法 接下来我们看下一调用waitForCompletion方法的这个类Job（由于类的内容很多， 阅读全文
posted @ 2019-07-24 17:17 一寸HUI 阅读(2567) 评论(0) 推荐(0) 编辑
flink 1.7.2 安装详解
摘要：##flink 1.7.2 安装需要java环境 下载地址 https://flink.apache.org/downloads.html#1、单机版 #创建用户flinkuseradd flink -d /home/flinkecho "flink123" | passwd flink --std 阅读全文
posted @ 2019-06-26 17:52 一寸HUI 阅读(1432) 评论(0) 推荐(0) 编辑
windows下通过idea连接hadoop和spark集群
摘要：###windows下链接hadoop集群 1、假如在linux机器上已经搭建好hadoop集群 2、在windows上把hadoop的压缩包解压到一个没有空格的目录下，比如是D盘根目录 3、配置环境变量HADOOP_HOME=D:\hadoop-2.7.7Path下添加 %HADOOP_HOME% 阅读全文
posted @ 2019-04-24 10:57 一寸HUI 阅读(3240) 评论(0) 推荐(0) 编辑
hadoop2.7+spark2.2+zookeeper3.4.简单安装
摘要：1、zookeeper的安装##配置/etc/hosts192.168.88.130 lgh192.168.88.131 lgh1192.168.88.132 lgh2 ##安装java8 解压配置环境即可 ##ssh(每一台机器)ssh-keyscan #生成密码ssh-copy-id lgh2 阅读全文
posted @ 2019-04-19 15:52 一寸HUI 阅读(976) 评论(0) 推荐(0) 编辑