01 2024 档案

摘要:一、minor和major的区别: Minor Compaction:指选取一些小的、相邻的HFile将他们合并成一个更大的HFile,但不会清理过期(TTL)和删除(打上Delete标记)的数据。 命令:compact 'tableName' Major Compaction:指将一个Store中 阅读全文
posted @ 2024-01-31 18:34 业余砖家 阅读(981) 评论(0) 推荐(0) 编辑
摘要:1、将Hbase shell执行结果输出到文件 echo "scan 'test'" | hbase shell>my.txt 2、查看表的region数 list_regions 'test' 3、执行文件中的Hbase shell hbase shell my.txt 阅读全文
posted @ 2024-01-31 16:20 业余砖家 阅读(279) 评论(0) 推荐(0) 编辑
摘要:问题描述 执行stop-hbase.sh时,等待很长时间都没结束(出来很多“...”) 解决办法: hbase-daemons.sh stop masterhbase-daemons.sh stop regionserver 阅读全文
posted @ 2024-01-30 18:23 业余砖家 阅读(256) 评论(0) 推荐(0) 编辑
摘要:问题描述: 在trino中配置了mysql.properties文件,但是通过trino客户端,执行命令show schemas from mysql ;查看数据库信息时报错:Error listing schemas for catalog mysql: java.sql.SQLNonTransi 阅读全文
posted @ 2024-01-29 16:08 业余砖家 阅读(1942) 评论(1) 推荐(1) 编辑
摘要:在外部访问CentOS中部署应用时,需要通过防火墙管理软件,开端口,或者直接关闭防火墙进行解决(不建议) 常用命令:systemctl start firewalld #启动systemctl stop firewalld #停止systemctl status firewalld #查看状态sys 阅读全文
posted @ 2024-01-24 08:54 业余砖家 阅读(532) 评论(0) 推荐(0) 编辑
摘要:一、什么是crontab?crontab 是有cron (crond) 这个系统服务来控制的,cron服务是linux的内置服务,类似于window下的计划任务,但它不会开机自动启动 二、如何使用?crontab -l //查看当前用户的crontabcrontab -e //编辑crontabcr 阅读全文
posted @ 2024-01-23 10:46 业余砖家 阅读(73) 评论(0) 推荐(0) 编辑
摘要:说明 在阿里云服务器上发现挖矿程序,大概率是因为在安全组上开启了某些端口导致。黑客利用某些端口的漏洞,上传了挖矿程序,并设置了定时任务。 对于在一个安全组内的服务器,网络内部是互通的。如果发现某些服务出现:Connection refused(连接拒绝)这样的报错,可以开启防火墙,然后开通拒绝的端口 阅读全文
posted @ 2024-01-19 16:41 业余砖家 阅读(35) 评论(0) 推荐(0) 编辑
摘要:问题描述 在阿里云服务器上安装的Hadoop和Hive,刚开始关闭了防火墙。但是由于服务器被被黑客安装挖矿程序,所以开启了防火墙。但是即使开启了所有可能的端口,但是在向Hive中插入数据时,依然报错提示:Call From hadoop01/172.23.238.2 to hadoop01:1002 阅读全文
posted @ 2024-01-19 14:37 业余砖家 阅读(126) 评论(0) 推荐(0) 编辑
摘要:前言 最近我们团队为了研究数据湖相关的技术,在阿里云服务中购买了云服务器,但是突然被告警提示被挖矿,而且要在一定期限内解决挖矿问题,否则就会被关停服务。 本篇记录了我们处理挖矿告警的过程,仅供参考。 一、服务器为什么会被告警挖矿? 云服务器中被恶意安装了脚本,然后脚本运行占用了大量的cpu 和内存, 阅读全文
posted @ 2024-01-18 14:22 业余砖家 阅读(4710) 评论(0) 推荐(0) 编辑
摘要:(1)HBase和Hadoop、zookeeper、JDK兼容版本 参考网址: https://hbase.apache.org/book.html 1)JDK和Hbase的兼容版本 对于JDK,最好还是选择JDK1.8。 2)HBase和Hadoop的兼容版本 3)HBase和Zookeeper兼 阅读全文
posted @ 2024-01-16 14:42 业余砖家 阅读(276) 评论(0) 推荐(0) 编辑
摘要:1. Hadoop (1).HDFS:启动HDFS:start-dfs.sh关闭HDFS:stop-dfs.sh格式化NameNode:hdfs namenode -format查看文件系统状态:hdfs dfsadmin -report创建目录:hdfs dfs -mkdir /path/to/d 阅读全文
posted @ 2024-01-16 09:40 业余砖家 阅读(41) 评论(0) 推荐(0) 编辑
摘要:Flink CDC写入kafka几种常见的数据格式,其中包括upsert-kafka写入后正常的json格式,debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操作:{"name":"魏夜游","remark": 阅读全文
posted @ 2024-01-03 16:13 业余砖家 阅读(553) 评论(0) 推荐(0) 编辑
摘要:问题描述 Caused by: org.postgresql.util.PSQLException: 错误: 无法访问文件 "decoderbufs": 没有那个文件或目录 解决办法 postgres-cdc的属性缺少如下配置: 'slot.name' = 'myslot','decoding.pl 阅读全文
posted @ 2024-01-03 10:43 业余砖家 阅读(281) 评论(0) 推荐(0) 编辑
摘要:问题描述 通过./bin/start-cluster.sh启动Flink程序,正常启动后无法通过浏览器访问web UI界面,http://192.168.80.133:8081。 问题原因 Flink1.12之前启动Flink程序后,可以正常打开WebUI界面,换成新的版本后Flink1.15、Fl 阅读全文
posted @ 2024-01-03 09:14 业余砖家 阅读(2869) 评论(0) 推荐(0) 编辑
摘要:(1) Hadoop Web UI http://master-1:9870/dfshealth.html#tab-overview 旧版本的端口可能为:50070 http://master-1:50070/dfshealth.html#tab-overview 如果不知道端口,可以查看hdfs- 阅读全文
posted @ 2024-01-02 10:27 业余砖家 阅读(139) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示