03 2021 档案

摘要:问题现象 在作业提交比较多的时候,集群资源还有剩余,但是分配跟不上,导致peeding比较多,peeding时间长达10分钟。 调优方法 1.开启批量分配资源功能,在小任务多的时候能提高吞吐量。 2.限制一次批量分配数量。默认没有限制,会导致节点计算资源不均衡,部分节点把所有的vcore都分配了,而 阅读全文
posted @ 2021-03-29 16:14 彬在俊 阅读(178) 评论(0) 推荐(0) 编辑
摘要:安装 下载安装包 presto官网:https://prestodb.io/ presto-server下载连接:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.248/presto-server-0.248.ta 阅读全文
posted @ 2021-03-29 15:51 彬在俊 阅读(907) 评论(1) 推荐(0) 编辑
摘要:shell expect 一个自动化交互的软件,常用场景:在回车后需要输出一些内容 批量传输文件,批量远程命令执行,修改密码,安装软件 一、安装 expect程序 yum -y install expect 二、expect 变量 1、赋值变量 set 变量名 变量值 set ip 192.168. 阅读全文
posted @ 2021-03-29 14:09 彬在俊 阅读(129) 评论(0) 推荐(0) 编辑
摘要:测试环境: 依赖组件 版本 cdh版本 5.13 操作系统版本 centos 6.9 问题现象: 因为是在虚拟机中搭建cdh大数据平台,虚拟机内存大小为4G,性能不足,导致cloudera-manager 服务频繁挂掉。 解决思路: 通过增加交换分区大小来增加虚拟机的内存。 解决方案: 1.查看当前 阅读全文
posted @ 2021-03-25 19:09 彬在俊 阅读(3283) 评论(0) 推荐(1) 编辑
摘要:环境信息: 操作系统版本:centos6.9 问题现象: 使用脚本制作完成集群的免密登陆后,发现登陆仍然需要密码 解决方案: 1.修改authorized_keys文件权限,并设置为700 chmod 700 authorized_keys 2.修改/etc/ssh/sshd_config文件 将 阅读全文
posted @ 2021-03-25 19:08 彬在俊 阅读(91) 评论(0) 推荐(0) 编辑
摘要:环境信息: 组件 版本 cdh版本 5.13 操作系统版本 centos 6.9 问题现象: CDH 5.13.3 启用Kerberos组件,导入KDC Account Manager 凭据,未见生成的票据。 错误日志: /usr/share/cmf/bin/import_credentials.s 阅读全文
posted @ 2021-03-25 19:06 彬在俊 阅读(113) 评论(0) 推荐(0) 编辑
摘要:问题背景: 要搭建cm大数据平台,别的节点需要安装cloudera-scm-agent,有因为文件较大,不想分发,所以采用yum源的方式进行安装,避免文件传输,io占用。 系统环境: 组件 版本 cdh版本 5.13 操作系统版本 centos 6.9 安装HTTPD服务: 1.安装httpd服务 阅读全文
posted @ 2021-03-25 19:04 彬在俊 阅读(139) 评论(0) 推荐(0) 编辑
摘要:Kerberos协议: Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和S 阅读全文
posted @ 2021-03-25 19:02 彬在俊 阅读(2427) 评论(0) 推荐(1) 编辑
摘要:环境信息 组件 版本 操作系统 centos6.9 CDH 5.13 kerberos 是 问题原因: hadoop提交任务到yarn,任务报错 hadoop jar /opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/jars/hadoop-mapr 阅读全文
posted @ 2021-03-25 18:59 彬在俊 阅读(103) 评论(0) 推荐(0) 编辑
摘要:测试环境 组件 版本 操作系统 centos7.4 docker CE18.1 需求 需要将容器的ip设置为固定ip docker的网络类型 docker默认的有三种网络类型,bridge、host和none,可通过如下命令查看 sudo docker network ls bridge:网络桥接 阅读全文
posted @ 2021-03-25 18:58 彬在俊 阅读(435) 评论(0) 推荐(0) 编辑
摘要:环境信息 组件 版本 操作系统 centos6.9 CDH 5.13 kerberos 是 问题现象 HUE+kerberos启动报错Couldn't renew kerberos ticket解决方案,kt_renewer ERROR Couldn‘t renew kerberos ticket 阅读全文
posted @ 2021-03-25 18:57 彬在俊 阅读(299) 评论(0) 推荐(0) 编辑
摘要:环境信息: 测试环境 版本 操作系统 centos6.9 CDH 5.13 问题描述: 往集群中的主机添加角色时,发现HDFS 存在警告信息,其余角色正常。通过查看日志信息,发现 NFS Gateway 这一块出错, 错误日志: 错误日志,具体异常如下: using as SECURE_USER u 阅读全文
posted @ 2021-03-25 18:55 彬在俊 阅读(193) 评论(0) 推荐(0) 编辑
摘要:转自:http://www.throwable.club/2018/12/16/zookeeper-curator-usage/ Zookeeper客户端Curator使用详解 前提 因为最近项目需要使用Zookeeper这个中间件,提前了解一下它的客户端Curator的使用。 简介 Curator 阅读全文
posted @ 2021-03-13 21:47 彬在俊 阅读(242) 评论(0) 推荐(0) 编辑
摘要:前言 在linux系统中,所有东西都可以看成是文件,文件又可以分为普通文件,目录文件,链接文件和设备文件。文件描述符是内核为了高效管理已被打开的文件所创建的索引,是一个非负整数用于指代被打开的文件,所有执行I/O操作的系统调用都是通过文件描述符。 程序刚刚启动的时候,0是标准输入,1是标准输出,2是 阅读全文
posted @ 2021-03-13 18:44 彬在俊 阅读(352) 评论(0) 推荐(0) 编辑
摘要:1.Kafka的用途有哪些?使用场景如何? 消息队列。都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能 存储系统。Kafka 把消息持久化到磁盘,相比于其他基于内存存储的系统而言,有效地降低了数据丢失的风险。 流式处理平台。Kafka 不仅为每个流行的流式处理框架提供了可靠 阅读全文
posted @ 2021-03-01 19:42 彬在俊 阅读(1006) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示