01 2023 档案

摘要:spark版本 2.2.0 日志里面的信息: WARN RowBasedKeyValueBatch: Calling spill() on RowBasedKeyValueBatch. Will not spill but return 0. What could be the reason for 阅读全文
posted @ 2023-01-11 16:57 augusite 阅读(304) 评论(0) 推荐(0) 编辑
摘要:一、普通模式(该机硬盘没有做磁盘阵列) 1、fdisk -l 查看你的硬盘编号,如sda,sdb 等 2、smartctl --all /dev/sda [html] view plain copy smartctl --all /dev/sda #该命令centos自带 [html] view p 阅读全文
posted @ 2023-01-04 16:34 augusite 阅读(6559) 评论(0) 推荐(0) 编辑
摘要:Yarn 常用命令(开发重点) Yarn状态的查询,除了可以在hadoop103:8088页面查看外,还可以通过命令操作 需求:执行WordCount案例,并用Yarn命令查看任务运行情况 //启动集群命令 [ranan@hadoop102 ~]$ myhadoop.sh start //执行命令, 阅读全文
posted @ 2023-01-03 21:20 augusite 阅读(907) 评论(0) 推荐(0) 编辑
摘要:Gentoo(也许其他发行版也是?)中 "ntpq -p" 的 man page 只有简短的描述:“打印出该服务器已知的节点列表和它们的状态概要信息。” 我还没见到关于这个命令的说明文档,因此这里对此作一个总结,可以补充进 "man ntpq" man page 中。更多的细节见这里 “ntpq – 阅读全文
posted @ 2023-01-03 11:51 augusite 阅读(3112) 评论(0) 推荐(0) 编辑
摘要:在 0.9.0.0 之后的 Kafka,出现了几个新变动,一个是在 Server 端增加了 GroupCoordinator 这个角色,另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic(__consumer_offsets) 阅读全文
posted @ 2023-01-03 11:10 augusite 阅读(1001) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示