|
摘要：
概述 节点属性是一种描述节点的方式没有资源保障。可以用来让应用挑选正确的节点 特性 节点属性有一下几个特性： 一个节点可以有多个属性 值可以与标记到节点的属性相关联，目前只支持字符串 和node label不一样，node属性不需要在集群级别显示指定，但是有api可以列出集群级别的属性 作为无形的资 阅读全文
posted @ 2021-06-28 11:29
Fanr_Zh
阅读(103)
评论(0)
推荐(0)
摘要：
概述 节点标签是对节点分组，应用可以指定在哪里运行。 先在只支持node分区： 1.一个node 只能有一个标签，默认标签为default 2.用户需要配置一个分区可以有多少资源 3.有2种节点分区 3.1 独占的，当准确的匹配node分区的时候 3.2非独占，就是没有准确的node 分区，被分配到 阅读全文
posted @ 2021-06-28 11:23
Fanr_Zh
阅读(249)
评论(0)
推荐(0)
摘要：
概述 YARN支持可扩展资源模块，默认YARN会跟着所有node，应用和队列中的内存和cpu，但是资源只能扩展可计数的资源，比如cpu ，内存，但是GPU和软件许可是不行的。 配置 yarn-site.xml 属性 值 yarn.resourcemanager.resource-profiles.e 阅读全文
posted @ 2021-06-28 11:21
Fanr_Zh
阅读(83)
评论(0)
推荐(0)
摘要：
概述 YARN的资源管理器支持高可用 体系结构 RM故障转移 RM HA是主从结构，任何时候只有一个主，多个从。转移通过admin客户端或者集成的故障转移控制器自动故障转移。 手动事务和故障转移 没有配置自动故障转移的情况下，管理员可以手动的进行故障转移，使用yarn rmadmin 自动故障转移 阅读全文
posted @ 2021-06-28 11:20
Fanr_Zh
阅读(128)
评论(0)
推荐(0)
摘要：
概述 ResourceManager是集群中绝对的资源管理工具，并且调度应用在YARN上运行。因此对于YARN来说是一个单点问题。这个文档介绍RM的重启。 有2种重启的方式： 1.非工作保留RM重启：就是RM重启并不保存工作，并且会重启之前运行的应用 2.工作保留RM重启：RM重启会保留工作状态，并 阅读全文
posted @ 2021-06-28 11:19
Fanr_Zh
阅读(210)
评论(0)
推荐(0)
摘要：
目的 文档主要描述了FairScheduler,一个可拔插的调度去，允许YARN应用公平共享集群上的资源。 概述 公平调度是分配资源的一种方式，公平的，平均的给所有应用分配资源。下一代Hadoop，可以调度多种资源类型，默认公平调度是在内存上的。也可以配置调度cpu和内存。当只有一个app运行的时候 阅读全文
posted @ 2021-06-28 11:18
Fanr_Zh
阅读(91)
评论(0)
推荐(0)
摘要：
3 Hadoop: Capacity Scheduler 3.1 目的 这个文档主要描述CapacityScheduler是一个可拔插的调度器，允许多用户安全的共享巨大的集群，这样他们的应用可以及时的在约束允许的情况下分配资源。 3.2 概述 CapacityScheduler被设计成共享的方式运行 阅读全文
posted @ 2021-06-28 11:17
Fanr_Zh
阅读(245)
评论(0)
推荐(0)
摘要：
YARN的基本想法是从资源管理和job的监控调度中分离出来（也就是从mapreduce中分离出来）。有一个全局的资源管理器(ReourceManager,RM)和每个应用一个的应用主程序(ApplicationMaster AM)。应用可以是一个job也可是一个job的有向无环图。 YARN还有个F 阅读全文
posted @ 2021-06-28 11:16
Fanr_Zh
阅读(64)
评论(0)
推荐(0)
摘要：
描述： 最近在测试版测试了复制+镜像，之后做镜像切换，以前做 就只有一个数据库使用复制+镜像，而且线上也是如此应用并没有大问题 场景： 有3个服务器 A,B,C。 A为primary，B为secondary，C为订阅， 分发 A中有2个数据库 test1，test2，为test1,test2订阅到C 阅读全文
posted @ 2021-06-03 16:11
Fanr_Zh
阅读(120)
评论(0)
推荐(0)
摘要：
2.1 由实例学习类 假设我们要学习“家用汽车”类C，先使用一些实例进行标记，家用汽车为正，其他为负。 类学习就是寻找一个涵盖所有的正例而不包含负例的描述。 这样我们就能： 给一辆没见过的车，检查学习得到的描述，对汽车进行判断是否为家用汽车。 \[ \begin{aligned} x=[x_1,x_ 阅读全文
posted @ 2021-02-20 11:35
Fanr_Zh
阅读(79)
评论(0)
推荐(0)
摘要：
innodb事务锁 根据文档innodb锁分为以下几种： 意向锁： 就是简单的IX，IS这类意向锁，这个容易理解，比如要在表上读取一行记录，那么表可能会被加IS锁，在表上写入就会被加IX锁 行锁： 这个也非常容易理解，就是在行上面加锁，S锁或者X锁 gap锁： gap锁就是为了在repeatable 阅读全文
posted @ 2020-08-13 14:10
Fanr_Zh
阅读(300)
评论(1)
推荐(0)
摘要：
起因： 应用程序日志里面发现报错：当前事务无法提交，而且无法支持写入日志文件的操作 且是间歇性出现。 问题： 直接从报错内容上看看不出什么问题，于是百度了，百度的结果就是 出现这个问题的原因就是事务已经被回滚，但是又去完成事务（commit/rollback） 结合自身的过程的代码，发现代码非常长， 阅读全文
posted @ 2020-06-24 11:07
Fanr_Zh
阅读(1224)
评论(0)
推荐(0)
摘要：
问题： 数据库服务器cpu吃满 troubleshooting过程： 正常这台服务器的cpu是在20-50之前，今天基本在70-100之间这个是不正常的。 可能问题： 1.并行sql或者复杂sql，打开profile，发现有运行很慢的sql，但是没有cpu非常高的。 2.是不是并发变高导致的，打开p 阅读全文
posted @ 2020-04-08 11:32
Fanr_Zh
阅读(317)
评论(0)
推荐(0)
摘要：
参考: http://www.sqlservercentral.com/articles/Replication/117265/ 前提： 准备一台电脑，主机名和以前的分发数据库一致。并且安装sql server 恢复步骤： 在新的distribution服务器上 1.配置distribution，增 阅读全文
posted @ 2018-09-21 13:23
Fanr_Zh
阅读(653)
评论(0)
推荐(0)
摘要：
背景： 朋友的环境第二天突然访问不了SQL Server，远程SQL Server用户无法登陆，但是本地SQL Server用户登录正常。 报错： 用户XX登录失败（MicroSoft SQL Server，错误18456） 排查： 对与无法连接服务器的，一般的排查手段，也是最常用的手段。 1.因为 阅读全文
posted @ 2018-07-13 15:10
Fanr_Zh
阅读(376)
评论(0)
推荐(0)
摘要：
firewall用zone来区分管理，默认有以下一些zone： 丢弃（DROP） 任何流入网络的包都被丢弃，不作出任何响应。只允许流出的网络连接。 阻塞（Block） 任何进入的网络连接都被拒绝，并返回 IPv4 的 icmp-host-prohibited 报文或者 IPv6 的 icmp6-ad 阅读全文
posted @ 2018-06-28 10:27
Fanr_Zh
阅读(441)
评论(0)
推荐(0)
摘要：
HBase运行模式：单实例和分布式 HBase运行模式：单实例和分布式... 1 1.单实例模式... 1 1.1 单实例在HDFS下... 1 2.分布式... 1 2.1 伪分布式... 1 3完全分布式... 1 HBase有2种运行模式，单实例和分布式。 1.单实例模式 这个是默认的模式。单 阅读全文
posted @ 2018-04-26 16:30
Fanr_Zh
阅读(465)
评论(0)
推荐(0)
摘要：
Getting Started Getting Started. 1 1. Introduction. 1 2.Quick Start-Strandalone HBase. 1 2.1 JDK版本选择... 1 2.2 Get Started With HBase. 1 2.3 伪分布式本地安装.. 阅读全文
posted @ 2018-04-19 15:03
Fanr_Zh
阅读(428)
评论(0)
推荐(0)
摘要：
订阅+镜像切换 主数据库挂了之后，镜像数据库没挂，那么就需要把镜像数据库设置成主数据库。 1.修改主机名，改成和主数据库一样的，重启 2.修改数据库中的主机名 IF SERVERPROPERTY('ServerName')<>@@SERVERNAME BEGIN DECLARE @srvname s 阅读全文
posted @ 2018-04-12 14:11
Fanr_Zh
阅读(375)
评论(0)
推荐(0)
摘要：
HDFS Snapshots HDFS Snapshots. 1 1. 概述... 1 1.1 Snapshottable目录... 1 1.2 快照路径... 1 2. 带快照的更新... 1 3. 快照操作... 1 3.1 管理操作... 1 3.2 用户操作... 1 1. 概述 HDFS快 阅读全文
posted @ 2018-04-10 16:14
Fanr_Zh
阅读(306)
评论(0)
推荐(0)
摘要：
ViewFS Guide ViewFS Guide. 1 1 介绍... 1 2. The Old World(Prior to Federation). 1 2.1单个Namenode Clusters. 1 2.2 路径使用... 1 2.3 路径名的最佳实践... 1 3 New World 阅读全文
posted @ 2018-04-03 08:33
Fanr_Zh
阅读(753)
评论(0)
推荐(0)
摘要：
HDFS Federation HDFS Federation. 1 1 Background. 1 2.多个namenode/namespace. 1 2.1 关键好处... 1 3 联合配置... 1 3.1 配置... 1 3.2 格式化namenode. 1 3.3 更新老的release并 阅读全文
posted @ 2018-03-30 16:03
Fanr_Zh
阅读(387)
评论(0)
推荐(0)
摘要：
HDFS High Availability Using the Quorum Journal Manager HDFS High Availability Using the Quorum Journal Manager. 1 4.1 目的... 1 4.2 Note: Using the Quo 阅读全文
posted @ 2018-03-22 13:00
Fanr_Zh
阅读(457)
评论(0)
推荐(0)
摘要：
HDFS Commands Guide HDFS Commands Guide. 1 3.1概述... 1 3.2 用户命令... 1 3.2.1 classpath. 1 3.2.2 dfs. 1 3.2.3 envvars. 1 3.2.4 fetchdt. 1 3.2.5 fsck. 1 3. 阅读全文
posted @ 2018-03-16 09:51
Fanr_Zh
阅读(757)
评论(0)
推荐(0)
摘要：
2 HDFS Users Guide 2 HDFS Users Guide. 1 2.1目的... 1 2.2.概述... 1 2.3.先决条件... 2 2.4. Web Interface. 2 2.5. Shell Command. 2 2.5.1 DFSAdmin 命令... 3 2.6 S 阅读全文
posted @ 2018-03-14 16:43
Fanr_Zh
阅读(482)
评论(0)
推荐(0)
|
