小小分析猿

2020年9月6日

摘要： 1.上传tez.tar.gz至hdfs的/tez，随后在本地目录解压 2.在hive的conf目录下创建tez-site.xml 输入： <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="con 阅读全文

posted @ 2020-09-06 21:26 小小分析猿阅读(846) 评论(0) 推荐(0) 编辑

sqoop --xx: commod not found

摘要： 1.首先确保sqoop路径正确且命令没有敲错。 2. 可执行命令必须全部是蓝色如果某行开始出现白色，那里肯定是找不到的解决：在蓝色命令末尾回车，重新打一遍命令，一般情况下会变成蓝色。记住把白色的命令行删掉阅读全文

posted @ 2020-09-06 18:22 小小分析猿阅读(454) 评论(0) 推荐(0) 编辑

Kafka部署

摘要： 1. 解压 2.vim config/server.properties 找到下列参数位置，并修改 #broker 的全局唯一编号，不能重复 broker.id=0 #kafka 运行日志存放的路径 log.dirs=/opt/module/kafka/logs #配置连接 Zookeeper 集群阅读全文

posted @ 2020-09-06 18:07 小小分析猿阅读(126) 评论(0) 推荐(0) 编辑

2020年7月30日

kafka无法连接zookeeper ,出现 Unkonwn host错误

摘要：情况描述：kafka logs下的日志文件显示无法识别host的错误并且kafka启动一下立马就被关闭了解决：首先netstat -nltp 看看自己的zookeeper是否如下如果是这样，就vim /etc/hosts 将localhost改成你的服务器的ip 完美阅读全文

posted @ 2020-07-30 19:12 小小分析猿阅读(1110) 评论(0) 推荐(0) 编辑

2020年7月25日

HDFS参数调优

摘要： hdfs-site.xml调优： 1.dfs.namenode.handler.count=20 * log2(Cluster Size) 比如集群规模为 8 台时，此参数设置为 60 NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。对于大阅读全文

posted @ 2020-07-25 17:39 小小分析猿阅读(833) 评论(0) 推荐(0) 编辑

HDFS项目经验

摘要：一.项目经验： 1.hdfs设置多目录 why：当hdfs存储空间紧张，需要对datanode节点进行磁盘扩展 what：（1）在 hdfs-site.xml 文件中配置多目录，注意新挂载磁盘的访问权限问题 <property> <name>dfs.datanode.data.dir</name> 阅读全文

posted @ 2020-07-25 17:11 小小分析猿阅读(246) 评论(0) 推荐(0) 编辑

2020年7月23日

解决Hive不加载hive-site.xml文件

摘要：前言：网上很多博客都没说到点子上，当时遇到这个问题也困扰了我好久，决定专门写篇博客帮大家脱离苦海。不加载自定义配置文件无外乎2大情况： 1.使用其他环境的配置文件而没有使用hive/conf下的hive-site.xml配置文件（解决方案：删除非hive/conf下的配置文件） 2.使用了hive 阅读全文

posted @ 2020-07-23 19:32 小小分析猿阅读(2658) 评论(0) 推荐(0) 编辑

2020年6月30日

apt-get update 全部 ign怎么办

摘要：问题展示修改更新源为国内高速源 vim /etc/apt/sources.list 删除旧的更新源，换成国内的更新源，如下 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiv 阅读全文

posted @ 2020-06-30 23:59 小小分析猿阅读(8865) 评论(0) 推荐(1) 编辑

2020年6月6日

NodeManager did not stop gracefully after 5 seconds: kill

摘要：原因在hadoop-daemon.sh找不到pid文件了 pid文件一般默认存放在/tmp，而服务器会定期清理/tmp 首先关闭hadoop 通过修改hadoop-daemon.sh 改变pid存放路径： yarn的则是修改yarn-daemon.sh：注意：每台服务器都要配置详情请见：http 阅读全文

posted @ 2020-06-06 12:31 小小分析猿阅读(9899) 评论(0) 推荐(0) 编辑

2020年6月5日

idea 连接 hive

摘要：新建一个driver jar包可以通过maven进行下载，配置好存放jar包的仓库 maven配置如下： <dependency> <groupId>org.ap 阅读全文

posted @ 2020-06-05 23:51 小小分析猿阅读(1941) 评论(0) 推荐(0) 编辑

公告