2018年4月14日

什么是Spark(四)运算过程中的黑科技

摘要: Spark在运算过程中提供了一套完整的机制用来提高效率。 1. 用于收集信息的Accumulator,自带增量,用于spark全局收集数据;共享数据; 2. 用于提高传输速率的broadcast机制;如果需要将已知大对象比如上万条的List,这些多大几十M甚至更大对象如果传统作为Map对象的方式下放 阅读全文

posted @ 2018-04-14 21:06 张叫兽的技术研究院 阅读(132) 评论(0) 推荐(0) 编辑

zipkin:HttpClient和struts

摘要: 因为要和老系统集成zipkin,意外的发现老系统使用的httpClient来发送信息。zipkin的官方demo可都是retstTemplate啊!有的搞头。 在看Demo的时候意外的发现其实其实2.5是支持httpClient的,只有到了spring 3之后才是restTemplate;但是我移植 阅读全文

posted @ 2018-04-14 21:05 张叫兽的技术研究院 阅读(625) 评论(0) 推荐(0) 编辑

zipkin:调用链显示分析

摘要: 为什么使用了httpclient,客户端没有向zipkin server发送日志? 因为我实在main方法中调用的,完事后这个线程就没了;httpclient用的还是异步的发送日志方式;所以没发日志。 但是现在卡主我的确实为什么只有client的信息,没有server信息! 应该还是进程被干掉的原因 阅读全文

posted @ 2018-04-14 20:17 张叫兽的技术研究院 阅读(473) 评论(0) 推荐(0) 编辑

zipkin:和springcloud集成过程记录

摘要: 发现全是springcloudapp的名称,然后是springcloudapp(http://localhost:8080/hello/tom)工程单独调用并没有通知zipkin; 原来是因为restTemplate的获取,好用的是使用restTemplate的@autowire的方式,但是如果使用 阅读全文

posted @ 2018-04-14 20:03 张叫兽的技术研究院 阅读(2752) 评论(0) 推荐(0) 编辑

zipkin:mysql做存储,kafka做接收器,以及如何找到配置名称

摘要: mysql设定 1. 创建表结构: (源码路径)\zipkin-storage\mysql\src\main\resources\mysql.sql 2. zipkin的存储设置为mysql(collector设置为kafka) java -server -jar zipkin-server-2.6 阅读全文

posted @ 2018-04-14 19:58 张叫兽的技术研究院 阅读(3199) 评论(0) 推荐(0) 编辑

导航