行歌天涯

2021年8月26日

摘要： ## HDFS+Zookeeper 上传安装包并解压 tar -zxvf hbase-2.0.4-bin.tar.gz -C /opt/app/ 修改配置文件 hbase-env.sh export JAVA_HOME=/opt/app/jdk1.8.0_202 #是否启动hbase内部集成的zk, 阅读全文

posted @ 2021-08-26 14:11 行歌天涯阅读(57) 评论(0) 推荐(0) 编辑

Zookeeper的选举机制

摘要： - 有一个主节点leader和多个follower，每个节点的配置文件中都有一个独一无二的id 集群初次启动时的选举流程第一台机器（id=1）启动，发现没有leader，进入投票模式，投自己，并收到自己投的这1票，得1票，不能当选leader（当leader的条件：得到集群机器数量过半的票数）第阅读全文

posted @ 2021-08-26 14:01 行歌天涯阅读(119) 评论(0) 推荐(0) 编辑

Zookeeper的数据模型和监听机制

摘要： ## 数据模型数据模型是key-value形式，key采用路径的形式，节点之间存在层级关系，value是任意数据，不过必须序列化为byte数组才能存入数据节点znode分类：持久节点：一旦创建就会被Zookeeper一直保存，除非主动删除临时节点：创建之后如果与Zookeeper断开连接，就阅读全文

posted @ 2021-08-26 13:57 行歌天涯阅读(67) 评论(0) 推荐(0) 编辑

Zookeeper的命令行操作

摘要： ## 基本操作客户端启动链接 bin/zkCli.sh 查看某个路径下的key ls / 创建一个znode create /a 1 创建一个znode的子节点 create /a/b 2 查看一个key的value get /a 1 cZxid = 0x100000004 ctime = Tue 阅读全文

posted @ 2021-08-26 13:44 行歌天涯阅读(67) 评论(0) 推荐(0) 编辑

Zookeeper安装部署记录

摘要： ## 解压安装包 tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/app/ 修改配置文件 cp zoo_sample.cfg zoo.cfg vi zoo.cfg dataDir=/opt/zkdata # Set to "0" to disable auto pu 阅读全文

posted @ 2021-08-26 11:05 行歌天涯阅读(56) 评论(0) 推荐(0) 编辑

2021年8月23日

PowerDesiger安装记录

摘要： ![](https://img2020.cnblogs.com/blog/2191564/202108/2191564-20210823084601712-1234625346.jpg) ![](https://img2020.cnblogs.com/blog/2191564/202108/2191564-20210823084610874-892534101.jpg) ![](https://i 阅读全文

posted @ 2021-08-23 08:53 行歌天涯阅读(27) 评论(0) 推荐(0) 编辑

2021年3月18日

Yarn的资源参数配置

摘要： Yarn的服务器资源容量参数 yarn-site.xml 一个容器资源（内存）请求的最低单位 yarn.scheduler.minimum-allocation-mb 1024 一个容器资源（内存）请求的最大单位 yarn.scheduler.maximum-allocation-mb 8192 一阅读全文

posted @ 2021-03-18 11:25 行歌天涯阅读(753) 评论(0) 推荐(0) 编辑

2021年3月17日

Yarn的任务调度策略

摘要：调度器的分类 FIFO Scheduler 先进先出，优先满足提交时间更早的job的资源需求不太适合用于大型的共享集群（大job会占用所有资源很长时间，导致其他job只能等待） Capacity Scheduler (默认) 预分配资源（用定义队列的方式）大job可以放在大队列中运行，不耽误小j 阅读全文

posted @ 2021-03-17 17:07 行歌天涯阅读(183) 评论(0) 推荐(0) 编辑

MapReduce的推测执行算法及原理

摘要：机制发现运行速度远慢于平均速度的任务，启动一个备份任务同时运行，采用先运行完的结果前提每个Task只能有一个备份任务当前Job已完成的Task不少于5% 开启推测执行参数，默认打开原理 estimatedRunTime=(currentTimestamp-taskStartTime)/pr 阅读全文

posted @ 2021-03-17 16:52 行歌天涯阅读(196) 评论(0) 推荐(0) 编辑

MapReduce的DistributedCache分布式缓存

摘要：将需要缓存的文件分发到各个执行任务的子节点不同文件类型添加方法 job.addCacheFile(uri);// 缓存普通文件到task运行节点的工作目录 job.addCacheArchive(uri);// 缓存压缩包文件到task运行节点的工作目录 job.addFileToClassPat 阅读全文

posted @ 2021-03-17 16:36 行歌天涯阅读(145) 评论(0) 推荐(0) 编辑

公告