2019年5月8日
spark docker java kubernetes 获取cpu内核/线程数问题
摘要： 升级服务从spark2.3.0-hadoop2.8 至 spark2.4.0 hadoop3.0 一日后导致spark streaming kafka消费数据积压 服务不是传统的部署在yarn上，而是布在kubernetes(1.13.2)上 https://spark.apache.org/doc 阅读全文
posted @ 2019-05-08 03:44 cclient 阅读(1014) 评论(0) 推荐(0) 编辑
logstash 使用glusterfs网络存储偶发性文件解析异常的问题
摘要： 其实问题到现在为止也没有解决 因为服务是部署在k8s上，挂载的，偶发性的出现文件解析异常 bom头已经验证过了 手动重新解析这些文件完全正常，问题无法复现，文件本身并没有问题。 最后怀疑到了最不该怀疑的文件系统上面，k8s内解析的文件路径实际是pv,pvc映射的是glusterfs文件系统 可能是g 阅读全文
posted @ 2019-05-08 03:35 cclient 阅读(316) 评论(0) 推荐(0) 编辑