2018年4月5日

什么是YARN

摘要: YARN的核心组件: 1)ResourceManager,扮演Master角色(和HDFS的nameNode很像)主要用于资源分配;RM有两个子组件,分别是Scheduler(Capacity Scheduler以及Fair Scheduler)以及ApplicationManager,主要用于管理 阅读全文

posted @ 2018-04-05 22:38 张叫兽的技术研究院 阅读(398) 评论(0) 推荐(0) 编辑

架构师到底管什么

摘要: 架构师的作用是核心部分可控,一个完全被架构师控制的项目貌似严谨滴水不漏,但是其实首先这样做成本很高,架构师本来有时间可以做更加有价值的事情,另外封闭的项目本身也是缺乏活力的项目,制约了下面人的热情和创造力。 所以架构师,包括项目经理等管理层的角色,要控制住自己的管理欲望,管理该管的,必须管的,其他的 阅读全文

posted @ 2018-04-05 22:25 张叫兽的技术研究院 阅读(267) 评论(0) 推荐(0) 编辑

Avro和Thrift区别(未完待续)

摘要: 两者都是优秀的序列化框架; Avro创造之初是Hadoop之父Doug为了创造一种更加快捷的序列化方案(此时已经有了thrift),用于Hadoop的HDFS的文件序列化问题。 Thrift一个成熟的序列化+RPC的解决方案;也是一种高效传输的方案,代价就是它采用的是静态的IDL的方式,根据定义的接 阅读全文

posted @ 2018-04-05 22:21 张叫兽的技术研究院 阅读(259) 评论(0) 推荐(0) 编辑

SPI: Service Provider Interface

摘要: Service Provider Interface; JDK提供的一种服务发现的机制;主要是用于厂商实现JDK的只用。 比如说打印机,JDK提供了一个驱动接口com.printl.printerDriver;爱普生公司将会提供 com.epson.EpsonPrinterDriver,惠普会提供c 阅读全文

posted @ 2018-04-05 16:45 张叫兽的技术研究院 阅读(155) 评论(0) 推荐(0) 编辑

java的try-with-resource机制

摘要: 在java7之后可以使用try(resource1, resource2){...}这样声明之后,在try{}执行完成之后或者抛异常跳出,都会调用reouce1.close(),resource2.close()。和之前的finally块很像 但是有两点区别:1. try-with-resource 阅读全文

posted @ 2018-04-05 16:44 张叫兽的技术研究院 阅读(501) 评论(0) 推荐(0) 编辑

servlet运作机制

摘要: 最近研究zipkin,在研究客户端brave的时候,才算开始理解servlet了。 servlet只是tomcat被实例化一次; 之后每次访问其实都是对同一个servlet示例操作;所以,不要在servlet的实现中创建什么全局变量(实例变量),并发可能会有问题。 通过下面的示例可以测试出只是被实例 阅读全文

posted @ 2018-04-05 16:32 张叫兽的技术研究院 阅读(143) 评论(0) 推荐(0) 编辑

zipkin之brave

摘要: brave是同步收集信息,及计算调用时间,但是异步发送日志信息给zipkin;所以很多时候你无法在第一时间获取日志数据可能需要等一会。另外在写一个demo的时候,因为最后睡了1秒,经常会发现丢了一些日志;后来最后sleep(5000)之后,日志都成功获取了。 brave在report发送了一个日志之 阅读全文

posted @ 2018-04-05 16:25 张叫兽的技术研究院 阅读(729) 评论(0) 推荐(0) 编辑

搭建Spring Cloud+Dubbo

摘要: 公司要测试一下zipkin是否可以跟踪全流程,项目的架构比较复杂,不要问我为什么,基本架构如下:前端门户,调用spring cloud组件,spring cloud在调用dubbo,这样一套流程。于是在spring cloud以及dubbo搭建过程中的所坑所思所想,记录一下。 ZUUI配置服务出错 阅读全文

posted @ 2018-04-05 15:53 张叫兽的技术研究院 阅读(1098) 评论(0) 推荐(0) 编辑

SNMP

摘要: (一)安装 SNMP中MIBS的路径:/usr/share/snmp/mibs (二)snmpwalk工具 snmpwalk -v 1 -c neusoft localhost .1.3.6.1.2.1.25.3.3.1.2 -v:代表版本号, -c:是社群,参见下文中有定义,为neusofot l 阅读全文

posted @ 2018-04-05 15:24 张叫兽的技术研究院 阅读(221) 评论(0) 推荐(0) 编辑

导航