01 2023 档案
摘要:spark版本 2.2.0 日志里面的信息: WARN RowBasedKeyValueBatch: Calling spill() on RowBasedKeyValueBatch. Will not spill but return 0. What could be the reason for
阅读全文
摘要:一、普通模式(该机硬盘没有做磁盘阵列) 1、fdisk -l 查看你的硬盘编号,如sda,sdb 等 2、smartctl --all /dev/sda [html] view plain copy smartctl --all /dev/sda #该命令centos自带 [html] view p
阅读全文
摘要:Yarn 常用命令(开发重点) Yarn状态的查询,除了可以在hadoop103:8088页面查看外,还可以通过命令操作 需求:执行WordCount案例,并用Yarn命令查看任务运行情况 //启动集群命令 [ranan@hadoop102 ~]$ myhadoop.sh start //执行命令,
阅读全文
摘要:Gentoo(也许其他发行版也是?)中 "ntpq -p" 的 man page 只有简短的描述:“打印出该服务器已知的节点列表和它们的状态概要信息。” 我还没见到关于这个命令的说明文档,因此这里对此作一个总结,可以补充进 "man ntpq" man page 中。更多的细节见这里 “ntpq –
阅读全文
摘要:在 0.9.0.0 之后的 Kafka,出现了几个新变动,一个是在 Server 端增加了 GroupCoordinator 这个角色,另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic(__consumer_offsets)
阅读全文