随笔分类 - Yarn
摘要：https://hadoop.apache.org A framework for job scheduling and cluster resource management. 一 部署 角色 ResourceManager、NodeManager 客户端 Job、AppMaster、Contai
阅读全文
摘要：背景 某天开始集群网络带宽被占满 登录出问题的节点，通过iftop发现有大量出网方向的流量 hadoop-* ⇒ c-73-29-172-82.hsd1.nj.comcast.net 422Mb 433Mb 236Mb ⇐ 0b 0b 0b hadoop-* ⇒ cpe-75-187-235-200
阅读全文
摘要：yarn开启日志归集功能，除了配置之外 yarn.log-aggregation-enable=true 还要检查/tmp/logs目录是否存在以及权限，尤其是在开启kerberos之后，有些目录可能不能自动创建成功，需要手工创建： $ hdfs dfs -mkdir /tmp$ hdfs dfs
阅读全文
摘要：用户提交任务到yarn时有可能遇到下面的错误： 1） Requested user anything is not whitelisted and has id 980,which is below the minimum allowed 1000 这是因为yarn中配置min.user.id=10
阅读全文
摘要：yarn常用rest api 1 metrics # curl http://localhost:8088/ws/v1/cluster/metrics The cluster metrics resource provides some overall metrics about the clust
阅读全文
摘要：1 下载解压 https://spark.apache.org/downloads.html $ wget http://mirrors.shu.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz $ tar xvf spark
阅读全文
摘要：环境：3结点集群 192.168.0.1192.168.0.2192.168.0.3 1 配置root用户服务期间免密登录 参考：https://www.cnblogs.com/barneywill/p/10271679.html 2 安装ansible 参考：https://www.cnblogs
阅读全文
摘要：有些工作只能在一台server上进行，比如master，这时HA（High Availability）首先要求部署多个server，其次要求多个server自动选举出一个active状态server，其他server处于standby状态，只有active状态的server允许进行特定的操作；当ac
阅读全文
摘要：在yarn中的application详情页面 http://resourcemanager/cluster/app/$applicationId 或者通过application命令 yarn application -status $applicationId 只能看到应用启动以来占用的资源*时间统
阅读全文
摘要：spark 2.1.1 系统中希望监控spark on yarn任务的执行进度，但是监控过程发现提交任务之后执行进度总是10%，直到执行成功或者失败，进度会突然变为100%，很神奇， 下面看spark on yarn任务提交过程： spark on yarn提交任务时会把mainClass修改为Cl
阅读全文
摘要：spark on yarn通过--deploy-mode cluster提交任务之后，应用已经在yarn上执行了，但是spark-submit提交进程还在，直到应用执行结束，提交进程才会退出，有时这会很不方便，并且不注意的话还会占用很多资源，比如提交spark streaming应用； 最近发现sp
阅读全文
摘要：yarn中有一个比较重要的配置yarn.nodemanager.local-dirs，如果配置的不好，在饱和状态运行下集群会出现很多问题：1 默认配置${hadoop.tmp.dir}/nm-local-dir，系统盘通常只有几百G，配置在这里会经常报磁盘空间不足的错误；2 配置到其中1个数据盘，比
阅读全文
摘要：通过oozie job id可以查看流程详细信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息如下： Job ID : 0012077-180830142722522-oozie-hado-W Workflow N
阅读全文
摘要：hdfs、yarn、hbase这些组件的master支持多个，实现自动主备切换，其中hdfs、hbase无论访问主master或者备master都可以正常访问页面，但是yarn比较特别，只有主master的页面可以访问，备master会返回Refresh，3s后重定向； 一种方式是提供两个域名，分别
阅读全文
摘要：spark 2.1.1 最近spark任务（spark on yarn）有一个报错 Diagnostics: Container [pid=5901,containerID=container_1542879939729_30802_01_000001] is running beyond phys
阅读全文
摘要：hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务正在runnin
阅读全文
