摘要: 微服务这个概念一直很火,现在ServiceMesh概念更火,最近我经手的多个项目也都采用微服务的方式开发。但实践发现,当一个RD同时开发超过2个微服务的时候,出现bug或故障的概率会提升。 我现在看项目的时候会不自觉的关注工程服务拆分个数和研发人数的比值。虽然这么做,我却说不出来个所以然,也没有找到 阅读全文
posted @ 2019-04-07 18:01 zhjh256 阅读(546) 评论(0) 推荐(0) 编辑
摘要: 在设计系统时,应该多考虑 墨菲定律: 任何事物都没有表面看起来那么简单。 所有的事都会比你预计的时间长。 可能出错的事总会出错。 如果你担心某种情况发生,那么他就更有可能发生。 在划分系统时,应该多考虑 康威定律: 系统架构是公司组织架构的反映。 应该按照业务闭环进行系统拆分/组织架构划分,实现闭环 阅读全文
posted @ 2019-04-07 18:01 zhjh256 阅读(417) 评论(0) 推荐(0) 编辑
摘要: 配置参数管理 待补充。。。 资源分配管理(Admission Control) Impala有资源池的概念,允许某些查询在特定的资源池执行,不过在白天不跑批/晚上不跑adhoc的DSS系统中,该机制并不常用(oracle、cgroup性质都类似),有兴趣可以参考《Impala Guide 中的Adm 阅读全文
posted @ 2019-04-07 18:00 zhjh256 阅读(432) 评论(0) 推荐(0) 编辑
摘要: 参考:Apache Impala Guide--Impala SQL Language Reference。 Impala使用和Hive一样的元数据存储,Impala可以访问使用原生Impala CREATE TABLE创建的表和Hive DDL创建的表; Impala支持和HiveQL类似的DML 阅读全文
posted @ 2019-04-07 18:00 zhjh256 阅读(1183) 评论(0) 推荐(0) 编辑
摘要: 架构 Hadoop整体由HDFS、YARN、MapReduce三大部分组成,推荐架构参考:https://www.cnblogs.com/zhjh256/p/10573684.html。 注:2.x的时候引入了YARN、并调整了一系列进程,其性能较差,本文主要讲解2.0体系。1.0可以参考https 阅读全文
posted @ 2019-04-07 17:59 zhjh256 阅读(302) 评论(0) 推荐(0) 编辑