上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 70 下一页

2018年5月25日

Spark性能调优

摘要: 1.压缩 KyroSerializer相比于JavaSerialize处理性能上10倍以上(综合了内存以及CPU);但是对于基本类型比如Int等压缩效果和javaSerializer相比并没有明显优势;另外Kyro支持的Java对象类型比较少,需要做相关配置。 2. Shuffle原理以及Manag 阅读全文

posted @ 2018-05-25 16:32 张叫兽的技术研究院 阅读(332) 评论(0) 推荐(0) 编辑

2018年5月6日

解决问题的应用软件+操作系统+硬件思路

摘要: 刚才一瞬间发现一切编译之后都不好用了; 之前的一个操作是解决Errors running builder 'Integrated External Tool Builder' on project '的异常问题;难道是因为它吗? 就在我打算重新解压缩工程的时候;突然想到之前把网线给拔了,会不会是.. 阅读全文

posted @ 2018-05-06 19:41 张叫兽的技术研究院 阅读(138) 评论(0) 推荐(0) 编辑

最小单元和上层建筑

摘要: 理解技术首先是合,就是掌握抽象的流程为主,就像金字塔的塔尖,向下拓展;流程清晰之后就是分,要把流程进行拆分,或者说分离,因为只有分离了你才更加有掌控力,因为如果是揉在一起你很难对于进行埋点,入口,出口控制;只有分离,都拆开了,你才能够更好对其进行修改。 以上的心得是我在读dockerone.io里面 阅读全文

posted @ 2018-05-06 19:33 张叫兽的技术研究院 阅读(193) 评论(0) 推荐(0) 编辑

application项目获取bean

摘要: 对于web项目,编程方式获取bean如下: 但是对于应用类项目要如何获取呢?方式之一就是通过实现ApplicationContextAware接口。 1. 定义接口 2. 在applicationContext里面定义bean;只有这样定义才可以在spring初始化加载的时候填充该类的applica 阅读全文

posted @ 2018-05-06 19:18 张叫兽的技术研究院 阅读(479) 评论(0) 推荐(0) 编辑

有些文件不需要配置,只需要放到resources下面

摘要: 今天和一位同事探讨了一个问题,开始的时候我事先的读取某个映射文件是配置在applicationContext.xml的bean定义里面;但是他提出来,是否可以不需要配置呢?直接作为一个资源文件完事,这样测试联调部署都方便。确实,如果一个文件的作用只是存一些数据,并且一般不变,那么完全可以放到配置里面 阅读全文

posted @ 2018-05-06 18:18 张叫兽的技术研究院 阅读(263) 评论(0) 推荐(0) 编辑

2018年5月5日

RAFT算法

摘要: 接触到RAFT是在学习KUDU的时候,KUDU的官方文档中一个连接指向了RAFT;只是觉得这个算法一定有其特点,要知道KUDU可以是一帮HBASE的大神写的。原始开始了解。 RAFT是一致性算法,说到一致性算法很多都会想到zookeeper,是的,这是我们接触比较多的内部包含一致性算法的应用产品了。 阅读全文

posted @ 2018-05-05 21:11 张叫兽的技术研究院 阅读(201) 评论(0) 推荐(0) 编辑

2018年4月29日

HBase,region以及HFile概念

摘要: 什么是HBase的Region? 大家一定对一个词不陌生:域分区,这个域就是Region;Region定义为key的一个取值范围的子集的数据载体;比如常见的域分区有固定大小分区,比如1-10一个region,2-50一个region以此类推;不过更常见的Hash分区;但是region在每台机器的物理 阅读全文

posted @ 2018-04-29 23:08 张叫兽的技术研究院 阅读(1091) 评论(0) 推荐(0) 编辑

xmlns和xsi之schemaLocation

摘要: appplicationContex.xml文件报错:元素 "util:constant" 的前缀 "util" 未绑定 在根节点添加了“xmlns:util="http://www.springframework.org/schema/util” 继续报错:通配符的匹配很全面, 但无法找到元素 ' 阅读全文

posted @ 2018-04-29 18:16 张叫兽的技术研究院 阅读(332) 评论(0) 推荐(0) 编辑

由spring的工厂构造bean想到的

摘要: 被Spring管理的bean可以是直接创建实例,还可以通过工厂模式来进行创建。例如brave的tracing bean定义: 1. Spring的工厂模式获取bean class + factory-method属性的定义指出了该bean的获取方式是静态工厂模式; 与之类似的是实例工厂模式,在spr 阅读全文

posted @ 2018-04-29 18:13 张叫兽的技术研究院 阅读(281) 评论(0) 推荐(0) 编辑

zipkin对于dubbo的支持

摘要: 对于Web端: 1. 需要在applicationContext的头部添加中添加prefix引用: 2. 添加dubbo的过滤器(可以和webhttpTracing公用一个Tracing) <dubbo:consumer filter="tracing" /> 3. 在pom中添加dubbo rpc 阅读全文

posted @ 2018-04-29 15:46 张叫兽的技术研究院 阅读(526) 评论(0) 推荐(0) 编辑

上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 70 下一页

导航