11 2019 档案

摘要:前言Impala采用了比较奇葩的多个impalad同时提供服务的方式,并且它会由catalogd缓存全部元数据,再通过statestored完成每一次的元数据的更新到impalad节点上,Impala集群会缓存全部的元数据,这种缓存机制就导致通过其他手段更新元数据或者数据对于Impala是无感知的, 阅读全文
posted @ 2019-11-27 14:57 piperck 阅读(866) 评论(0) 推荐(0) 编辑
摘要:要好好使用 Impala 就得好好梳理一下他得结构以及他存在得一些问题或者需要注意得地方。本系列博客主要想记录一下对 Impala 架构梳理以及使用上的 workaround。 Impala 简介 首先我们来了解一下在 Impala Guide 中 Impala 对自己的定位 Impala is a 阅读全文
posted @ 2019-11-27 02:54 piperck 阅读(1644) 评论(0) 推荐(0) 编辑
摘要:目前我们使用的一个 b 端软件的报错日志分散在集群各处,现在想把它收集到一个地方然后统一丢进 Kafka 提供给下游业务进行消费。 我想到了 flume,之前让同事搭建的这次自己想多了解一些细节于是就开搞了。 首先还是下载 flume 的客户端,这里我使用最新版本 1.9.0 设置需要的 java 阅读全文
posted @ 2019-11-15 17:48 piperck 阅读(1191) 评论(0) 推荐(0) 编辑
摘要:最近在用 java 处理一一些东西,发现 java 对对象进行序列化反序列化比起 python 来还是有些麻烦记录一下。 找了好几个库最后选择了 Jackson 感觉大家对它评价还不错。 将目标从 Java 的 map object 转换成 json 对象 这里总是需要 new 一个 ObjectM 阅读全文
posted @ 2019-11-06 16:28 piperck 阅读(5547) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示