12 2020 档案

大表数据过滤查询很慢
摘要：一、问题描述 查询的语句类似如下： select * from table_name where xxx='yyy' limit 10; 当前的hive表存储格式是orc格式，执行引擎是tez，并行度也已经调整到几十了，但是在执行这个sql的时候，发现一直卡住，执行不成功。 二、问题现象 and 分 阅读全文
posted @ 2020-12-21 13:09 北漂-boy 阅读(680) 评论(0) 推荐(0) 编辑
(转)Too many open files
摘要：【摘要】 Too many open files有四种可能:一 单个进程打开文件句柄数过多,二 操作系统打开的文件句柄数过多,三 systemd对该进程进行了限制,四 inotify达到上限. 一 单个进程打开文件句柄数过多 ulimit中的nofile表示单进程可以打开的最大文件句柄数，可以通过u 阅读全文
posted @ 2020-12-11 11:09 北漂-boy 阅读(401) 评论(0) 推荐(0) 编辑
kinit 如何使用特定的krb5.conf
摘要：1、krb5.conf 默认情况下，kinit使用的是/etc/krb5.conf文件 如何使用特定的krb5.conf文件呢，可以通过设置环境变量KRB5_CONFIG： export KRB5_CONFIG=/home/hduser/krb5.conf 2、phoenix 如何使用带有Kerbe 阅读全文
posted @ 2020-12-09 12:19 北漂-boy 阅读(6357) 评论(0) 推荐(1) 编辑
redis(1) 集群部署
摘要：一、部署环境 1、版本 redis 6.9 2、实例 3 master 3 slave | 主机 | 角色 | IP：端口 | | | | | | Hadoop1 | master/slave | 192.168.43.2:6380 /192.168.43.2:6379 | | Hadoop2 | 阅读全文
posted @ 2020-12-08 13:15 北漂-boy 阅读(126) 评论(0) 推荐(0) 编辑
hive 执行sql出现Invalid buffer
摘要：一、错误现象 在执行hive sql的时候，出现如下错误： 二、错误的原因很分析 hive的数据存储使用的是EC，然而ec在hdfs的3.1.x版本上面有bug，所以就出现了上述的问题。但是这个bug已经在后续的版本上面修复了。如下图： 具体的官方issue： | https://issues.ap 阅读全文
posted @ 2020-12-03 15:06 北漂-boy 阅读(542) 评论(0) 推荐(0) 编辑
使用idea 编写spark程序
摘要：一、 创建工程或者模块 如果已经存在工程，那么可以在当前工程下创建模块。 如果不存在工程，可以直接创建一个工程。 1.1 创建maven模块 由于已经存在一个相同的模块，我这里标红了。 1.2 修改pom文件 <?xml version="1.0" encoding="UTF-8"?> <proje 阅读全文
posted @ 2020-12-03 13:13 北漂-boy 阅读(1115) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示