摘要：
1.kafka开通krb认证之后，需要在消费kafka时候加载配置文件 ./kafka-topics.sh --zookeeper 198.28.1.81:2181 --create --topic hs_user_useroperlog --partitions 3 --replication-f 阅读全文
摘要：
迁移hdfs节点过程中，退役datanode节点，出现这个问题：使用命令检查block报告hdfs fsck /返回结果截图如下：参数说明：Total size ： hdfs集群存储大小，不包括复本大小。如：75423236058649 B （字节）。（字节->KB->m->G->TB，75423236058649/1024/1024/1024/1024=68.59703358591014TB） 阅读全文
摘要：
html页面转pdf下载 两个js文件可供使用，地址如下： https://github.com/linwalker/render-html-to-pdf 唯一的缺点是图片跨页不好解决，最终的pdf文件如下： 解决下载pdf文件背景是黑色的问题，将div添加背景色为白色，未解决图片跨页问题，解决思路 阅读全文
摘要：
Lyft 于2019年4月开发了Amundsen，并与10月开源。git项目地址：https://github.com/amundsen-io/amundsen安装说明：https://github.com/amundsen-io/amundsen/blob/main/docs/installation.mdAmundsen提供了搜索与排名的功能，帮助更好的查找数据表。支持的数据源非常丰富，支持h 阅读全文
摘要：
星环catalog元数据管理系统，底层是在altas的基础上做了自己的开发，具有血缘关系、数据地图展示，搜索（做的不好）表等，可以给表加标签，还具有sql执行页面。总体来说这套工具想法挺好，但是产品用起来不是特别友好，搜索想全文查找不是特别好用，搜出来的字段无法连接到具体表上，只是展示。 搜索表或者 阅读全文
摘要：
HBaseHiveSqoopStormKafka limitOffset? EOF; STRING: '"' ~('"')* '"' | '\'' ~('\'')* '\'' | '`' ~('`')* '`'; 阅读全文
摘要：
一、idea安装lombok插件 安装lombok插件 在这里插入图片描述 二、重启idea 三、添加maven依赖 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version> 阅读全文
摘要：
1.官方说明如下 按照上面信息配置时候会出现 (staticfiles.E002) The STATICFILES_DIRS setting should not contain the STATIC_ROOT setting. 估计是linux和windows的原因导致 这里从网上找到解决办法： 阅读全文
摘要：
echarts网状模型研究 参考导向力算法D3.js，有很多例子，最终的目标就是分开相互关联画图覆盖问题 echarts里面也有能够实现画图的例子 我们今天主要分析下echarts中关系图graph的数据模型 通过找到例子中的数据发现，https://cdn.jsdelivr.net/gh/apac 阅读全文
摘要：
转载：https://blog.csdn.net/iamlake/article/details/104982518 引子 1. 蓝鲸的背景：运维转型 原因1：业务红海化 原因2：“传统运维”生存空间塌缩 原因3：我们太累了 2. 蓝鲸的设计思想 3. 蓝鲸服务 4. 收尾 阅读全文
摘要：
某君请领导吃饭，领导婉拒。他本想回“好的”。却回成了“妈的”。结果，他失业时才五十多岁！ 某女给男同事发微信：“你是同事中最出色的，跟你在一起，真的很开心！”因为不细心，少打了个“出”字。很长时间后，还一直在纳闷，为啥被拉黑？以上是两则笑话，这种笑话很“低级”，但在我们生活中，因“一字之差”而引起的 阅读全文
摘要：
阅读全文
摘要：
根目录结构 一、3party-licenses 二、addons 1、falcon-bridge 2、falcon-bridge-shim 3、hbase-bridge 4、hive-bridge 5、kafka-bridge 6、models 7、sqoop-bridge 8、storm-brid 阅读全文
摘要：
问题： 使用sql语句，insert into xxx select * from xxx group by;等复杂的逻辑语句 出现reducer数量超过1000000 原因分析： Hadoop MapReduce程序中，reducer个数的设定极大影响执行效率 ，这使得Hive怎样决定reduce 阅读全文
摘要：
问题想象： bat执行exe过程中出现exe一闪而过，发现是目录位置不对，解决办法 问题分析：你可以通过cmd执行exe查看具体报错内容，可以发现exe执行时候需要根据exe的当前路径加载相关dll后者配置文件，所以执行报错 解决： 办法1：通过跳转目录解决 bat定义： 添加目录跳转CHDIR 你 阅读全文
摘要：
Hadoop支持的一系列通配符与Unix bash相同： 通配符 名称 匹配 * 星号 匹配0或多个字符 ? 问号 匹配单一字符 [ab] 字符类别 匹配{a,b}中的一个字符 [^ab] 非字符类别 匹配不是{a,b}中的一个字符 [a-b] 字符范围 匹配一个在{a,b}范围内的 字符(包括ab 阅读全文
摘要：
在线文档：https://ke.smartloli.org/ 作者博客：https://www.cnblogs.com/wang3680 源码地址：https://github.com/smartloli/kafka-eagle 环境要求： 需要的java版本 java1.8以上版本 下载包Kafk 阅读全文
摘要：
一、安装 参考：https://www.cnblogs.com/cpy-devops/p/9287531.html 首先保证系统安装了java 1.8以上版本 tar –zxvf /home/logstash-7.7.0.tar.gz -C /usr/local 进入/usr/local/logst 阅读全文
摘要：
select * from user where name regexp 'mac1|mac2|mac3'通过regexp 方式查询多个值，使用|实现or效果 阅读全文
摘要：
问题：hadoop出现报警，有些节点数据磁盘已经占用了90%，有些节点磁盘用了50% 解决：HDFS自带的balancer工具来解决，保证每个节点的数据分布均衡 方法-全节点&个别节点平衡： 1.设置带宽 hdfs dfsadmin -setBalancerBandwidth 104857600 \ 阅读全文