atao-BigData

摘要： ### CDH登录后显示【无法发出查询：Host Monitor 未运行】解决办法 >现象：[CDH](https://so.csdn.net/so/search?q=CDH&spm=1001.2101.3001.7020)登录后显示【无法发出查询：Host Monitor 未运行】 ![](htt 阅读全文

摘要： ##### CDH集群之YARN性能调优 > 本文主要讨论CDH集群的YARN调优配置，关于YARN的调优配置，主要关注CPU和内存的调优，其中CPU是指物理CPU个数乘以CPU核数，即Vcores = CPU数量*CPU核数。YARN是以container容器的形式封装资源的，task在conta 阅读全文

摘要： # Linux根目录扩容--两篇 ## 1.命令汇总 ```shell // 首先查看根目录大小 # df -h / // 查看磁盘与挂载情况，可以看到磁盘的文件系统。 # lsblk # lsblk -f // 查看磁盘详细信息 # fdisk -1 // 对/dev/vda磁盘进行分区 # fd 阅读全文

摘要： # 基于CDH环境下的Hive数仓配置及优化 原文连接地址：https://blog.csdn.net/sinat_31854967/article/details/127274575 ## YARN的基础配置 ### NodeManager CPU配置 - 在YARN界面中，点击配置，然后搜索配置 阅读全文

摘要： ## sqoop参数问题 sqoop import 命令常用参数 表1.常用参数 参数 描述 ``` –connect 指定JDBC连接字符串 –connection-manager 指定要使用的连接管理器类 –driver 手动指定要使用的JDBC驱动程序类 –hadoop-mapred-home 阅读全文

摘要： ## 解决root用户对HDFS文件系统没有权限的问题 #### ==说明：==HDFS文件系统的目录基本都属于 supergroup 超级用户组，所以就把用户添加到该用户组，即可解决很多权限问题。 第一步： > 在Linux执行如下命令增加 supergroup 用户组 > > groupadd 阅读全文

摘要： ## 搭建CDH后，hdfs的权限问题 #### 问题描述：搭建cdh集群后，在hdfs中创建文件报错：Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x ![](https://img20 阅读全文

摘要： ## 部署集群出现问题总结 ### 1，未在已配置的存储库中找到任何parcel >在装[cdh](https://so.csdn.net/so/search?q=cdh&spm=1001.2101.3001.7020)的时候遇到了问题，配置完parcel存储库以后页面提示：未在已配置的存储库中找到 阅读全文

摘要： ## 配置多台服务器之间免密登录（实操） 1.准备三台云服务器或虚拟机，我这里用的是华为云服务器 2.在所有主机上创建ssh目录并赋予权限 ![](https://img2023.cnblogs.com/blog/2738901/202305/2738901-20230520002001919-18 阅读全文

摘要： # 1.linux挂载新增硬盘--重点在后半截 ### linux挂载硬盘实操 >我要挂载的硬盘为`sda1`，首先将硬盘插上。 #### 1 查看硬盘 使用检测硬盘命令： ```shell lsblk ``` ![](https://img2023.cnblogs.com/blog/2738901 阅读全文