2018 年 4月随笔档案 - 张叫兽的技术研究院

HBase，region以及HFile概念

摘要：什么是HBase的Region？大家一定对一个词不陌生：域分区，这个域就是Region；Region定义为key的一个取值范围的子集的数据载体；比如常见的域分区有固定大小分区，比如1-10一个region，2-50一个region以此类推；不过更常见的Hash分区；但是region在每台机器的物理阅读全文

posted @ 2018-04-29 23:08 张叫兽的技术研究院阅读(1111) 评论(0) 推荐(0) 编辑

xmlns和xsi之schemaLocation

摘要：appplicationContex.xml文件报错：元素 "util:constant" 的前缀 "util" 未绑定在根节点添加了“xmlns:util="http://www.springframework.org/schema/util” 继续报错：通配符的匹配很全面, 但无法找到元素 ' 阅读全文

posted @ 2018-04-29 18:16 张叫兽的技术研究院阅读(333) 评论(0) 推荐(0) 编辑

由spring的工厂构造bean想到的

摘要：被Spring管理的bean可以是直接创建实例，还可以通过工厂模式来进行创建。例如brave的tracing bean定义： 1. Spring的工厂模式获取bean class + factory-method属性的定义指出了该bean的获取方式是静态工厂模式；与之类似的是实例工厂模式，在spr 阅读全文

posted @ 2018-04-29 18:13 张叫兽的技术研究院阅读(282) 评论(0) 推荐(0) 编辑

zipkin对于dubbo的支持

摘要：对于Web端： 1. 需要在applicationContext的头部添加中添加prefix引用： 2. 添加dubbo的过滤器（可以和webhttpTracing公用一个Tracing） <dubbo:consumer filter="tracing" /> 3. 在pom中添加dubbo rpc 阅读全文

posted @ 2018-04-29 15:46 张叫兽的技术研究院阅读(527) 评论(0) 推荐(0) 编辑

Spring boot的@Configuration

摘要：就在我惊艳于spring 4的AbstractAnnotationConfigDispatcherServletInitializer小巧简洁（如下）的时候却发现spring boot下面竟然无效。后来经过调研发现其实是需要通过@Configuration（注意类级别注解）的类来进行处理，比如下例阅读全文

posted @ 2018-04-29 15:40 张叫兽的技术研究院阅读(607) 评论(0) 推荐(0) 编辑

概率的解题思路

摘要：经历了马尔科夫链以及平稳随机过程的虐，我突然明白概率的解题思路，其实就是首先分析“基础场景”是连续还是离散，连续就考虑概率密度，离散就考虑概率；或者如果已经概率分布函数就利用概率分布函数；然后基于基础场景再来分析采用那种数学特征，期望，方差，均值，还是协变量，或者复杂一点的方差函数，均值函数，自相阅读全文

posted @ 2018-04-29 15:36 张叫兽的技术研究院阅读(387) 评论(0) 推荐(0) 编辑

brave-zipkin的日志源码分析

摘要：其实在zipkin的日志里面作为发送端日志两个，sr，ss，这个日志是servlet产生的；接收端日志是四个，分别是cr，sr，ss，cs；cr和cs分别是上游的日志的信息；ss和sr是接收端输出的日志；这些信息都是分别达到zipkin里面，拼接形式是由zipkin做的。都是span start开阅读全文

posted @ 2018-04-22 22:51 张叫兽的技术研究院阅读(2576) 评论(0) 推荐(0) 编辑

记录一次MyEclipse工程搭建的辛酸

摘要：一个历史项目，使用的是Myeclipse6.5版本；这一天就砸在这个项目了。调通web项目；内置的是tomcat插件，貌似和eclipse的server版的还不太一样。长这个样子：点击Tomcat5.x，然后选择tomcat的路径，这个比较简单。没完，还要在左侧树状中点击“JDK” 注意，注意阅读全文

posted @ 2018-04-22 22:40 张叫兽的技术研究院阅读(132) 评论(0) 推荐(0) 编辑

windows默认文件浏览器大小

摘要：windows打开之后，发现默认窗口很小。不知道怎么办。后来才知道，windows每次打开文件浏览器的窗口其实和上次一样；你只要把当前文件浏览器拉长，下次再打开就可以和本次一样。但是如果直接最大化不行；并没有改变浏览器记录信息。参考 https://answers.microsoft.com/ 阅读全文

posted @ 2018-04-22 22:30 张叫兽的技术研究院阅读(253) 评论(0) 推荐(0) 编辑

jdk版本对应数字

摘要：org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.springframework.web.servlet.mvc.annotation.DefaultAnnotati 阅读全文

posted @ 2018-04-22 22:29 张叫兽的技术研究院阅读(662) 评论(0) 推荐(0) 编辑

github之本地上传

摘要：在打算上传到github之前需要在github上面首先创建一个项目（点击右上角“+”号，点击New repository）；创建完事后，copy一下git路径（https://github.com/...）：工程右键team -> Remote -> Push...进入到配置远程服务器页面；在阅读全文

posted @ 2018-04-22 22:20 张叫兽的技术研究院阅读(321) 评论(0) 推荐(0) 编辑

如何查看MySql的BLOB内容

摘要：一款Mysql的工具: SQLyog。强项在于可以把blob的内容直接显示出来。一款Mysql的工具: SQLyog。强项在于可以把blob的内容直接显示出来。我觉得其实做产品能够活挺厉害，因为你做的东西确实为客户提供价值；在云云产品之中，能够让客户发现你并使用，购买你的产品，说明你的产品确阅读全文

posted @ 2018-04-22 22:06 张叫兽的技术研究院阅读(4936) 评论(0) 推荐(0) 编辑

概率随记（一）

摘要：概率的价值为什么要研究概率，是为了考察大量样本，主要是评估。其实某次取随机变量具体值并不重要，重要的是在广泛的目标产品中，到底出现某类产品的数量，比如评价两套生产线，评价N套工艺，比如郭台铭的生产线和深圳某个加工厂究竟哪个更好？在一定数量的场景下（在空间和时间以及时间样本都比较宽泛的条件）在来讲概阅读全文

posted @ 2018-04-22 21:39 张叫兽的技术研究院阅读(148) 评论(0) 推荐(0) 编辑

记录一次解决404问题

摘要：解决404问题开始请求过滤是放在编程来进行判断（在doFilter函数中做）；后来发现解决请求过滤更好的方式，不是代码的方式来进行过滤，而是在web.xml文件中增加过滤配置。加完之后不好用；后来发现是因为filter要配置为LoginAction.do，那个.do没有添加导致了问题。 <filt 阅读全文

posted @ 2018-04-21 21:15 张叫兽的技术研究院阅读(2042) 评论(0) 推荐(0) 编辑

什么是HBase（二）关于HFile分割

摘要：关于HFile的分割，是首先要从HFile的合并说起，上回书讲到memstore会不定期刷HFile，然后这些HFile将会被不定过期的被监控程序进行小合并+大合并（所有的文件，不分column family的合并）；但是当HFile大到一定程度之后，将会进行分割，避免大文件太大，影响查询速度。基阅读全文

posted @ 2018-04-18 21:39 张叫兽的技术研究院阅读(294) 评论(0) 推荐(0) 编辑

关于Eclipse

摘要：Navigator窗口之前看到同事使用Eclipse的Navigator窗口，十分不解这个窗口有啥用；今天通过了解才知道Package Explorer是从工程的角度来显示文件，比如settings，.project等文件都不会展示；navigator则是才物理文件来显示文件，上述这些文件都会显示阅读全文

posted @ 2018-04-15 22:20 张叫兽的技术研究院阅读(197) 评论(0) 推荐(0) 编辑

什么是HBASE（一） PUT流程想到的

摘要：HBase的整体架构： HBase的体系整体氛围两部分，client和Server集群；Server集群由三部分组成，zookeeper，用于存储HBaes集群的元数据信息（比如META表所在的region server）；Master负责DDL操作以及管理操作（比如扩容等）；Region Serv 阅读全文

posted @ 2018-04-15 22:16 张叫兽的技术研究院阅读(503) 评论(0) 推荐(0) 编辑

解决一个java facets问题

摘要：经常被一个问题困扰： JavaServer Faces 2.2 can not be installed : One or more constraints have not been satisfied. JavaServer Faces 2.2 requires Dynamic Web Modu 阅读全文

posted @ 2018-04-15 22:00 张叫兽的技术研究院阅读(364) 评论(0) 推荐(0) 编辑

什么是HBASE（三） HBase的压缩和编码

摘要：在存储层面节省空间的处理上，Hbase提供了两种方案，一个是基于key的编码，一个是基于数据块（data block）的压缩。前者用于将key重复部分进行简单处理达到节约空间的目的，后者则是对数据块进行压缩，实现节省硬盘。不过压缩和解压缩是影响处理性能的，都是那时间换空间；所以要权衡清楚。关于ke 阅读全文

posted @ 2018-04-15 17:26 张叫兽的技术研究院阅读(928) 评论(0) 推荐(0) 编辑

什么是HBase（五） HBase的运维工具

摘要：常用工具文件修复 hbck 文件查看 hfile WAL查看工具 hlog 压缩测试工具 compressTest（字段前缀编码以及block压缩设置后进行测试）数据迁移工具copyTable 导出工具：export 导入工具：import 日志回放：WALPlayer region和regio 阅读全文

posted @ 2018-04-15 17:20 张叫兽的技术研究院阅读(141) 评论(0) 推荐(0) 编辑

根据tomcat的日志判断web的发布路径以及服务路径

摘要：[ContainerBackgroundProcessor[StandardEngine[Catalina]]] org.apache.catalina.startup.HostConfig.undeploy Undeploying context [/brave]可以判断出网站发布的project 阅读全文

posted @ 2018-04-15 17:14 张叫兽的技术研究院阅读(255) 评论(0) 推荐(0) 编辑

什么是HBase（四） HBase的业务工具

摘要：HBase的工具 HBase过滤器；本质上是将过滤查询下放到各个region server上面去做；注意PageFilter需要放到最后； HBase的列值过滤器只是对有这列的数据有效，如果某行数据并没有该列，则认为是匹配；那么整行数据都显示出来；对于多个列值组合查询，使用FilterList来进阅读全文

posted @ 2018-04-15 17:03 张叫兽的技术研究院阅读(212) 评论(0) 推荐(0) 编辑

关于源码和技术的意义

摘要：研究技术的意义到底是什么？我在“如何阅读源码“中介绍了N论的阅读模式，那么下面介绍一下第二轮之后代码的阅读；到了第二轮，代码理解防线发生了变化，第一轮是宏观上了解生命周期，识别控制流；那么到了细节，要关注什么？我把spring一套源码都默写下来，真的有意义吗？可能有意义，书读百遍其义自见；可见读书阅读全文

posted @ 2018-04-15 16:58 张叫兽的技术研究院阅读(185) 评论(0) 推荐(0) 编辑

String的不变性到final在java中用法

摘要：final在Java语言里面啥意思 final修饰一个类，那么这个类就是不可继承。string就是一个非常有名的被final修饰的类，不过他的更加有名的是“不可被修改”。究竟什么是不可改变？string，大家可能都知道string是不可变，那么如果我们改变string呢，他确实变了，这个“他”已经阅读全文

posted @ 2018-04-15 16:56 张叫兽的技术研究院阅读(183) 评论(0) 推荐(0) 编辑

什么是索引

摘要：什么是索引，索引是一张表，记录了表单列或者某几列的表，减少查询量。阅读全文

posted @ 2018-04-15 15:45 张叫兽的技术研究院阅读(157) 评论(0) 推荐(0) 编辑

什么是HBase（六）性能调优

摘要：硬件层面内存要大，最好是ECC（Error Checking and Correcting），实现内存的动态纠错；CPU要多路（每个路彼此隔离）每个路一个CPU，每个cpu上面一般都是2~12核。在操作系统层面 1）JVM用64位的； 2）挂载的硬盘设置为noatime，atime意味着每次读写阅读全文

posted @ 2018-04-15 15:30 张叫兽的技术研究院阅读(156) 评论(0) 推荐(0) 编辑

servlet深探

摘要：在spring4下面使用的是ServletContext作为容器，这个是servlet规范里面设置的；加载了默认的servlet（在spring 4之前都是web.xml中做的），但是在spring 4使用基于约定默认都是使用org.springframework.web.servlet.Dispa 阅读全文

posted @ 2018-04-15 15:20 张叫兽的技术研究院阅读(93) 评论(0) 推荐(0) 编辑

什么是Spark（四）运算过程中的黑科技

摘要：Spark在运算过程中提供了一套完整的机制用来提高效率。 1. 用于收集信息的Accumulator，自带增量，用于spark全局收集数据；共享数据； 2. 用于提高传输速率的broadcast机制；如果需要将已知大对象比如上万条的List，这些多大几十M甚至更大对象如果传统作为Map对象的方式下放阅读全文

posted @ 2018-04-14 21:06 张叫兽的技术研究院阅读(133) 评论(0) 推荐(0) 编辑

zipkin：HttpClient和struts

摘要：因为要和老系统集成zipkin，意外的发现老系统使用的httpClient来发送信息。zipkin的官方demo可都是retstTemplate啊！有的搞头。在看Demo的时候意外的发现其实其实2.5是支持httpClient的，只有到了spring 3之后才是restTemplate；但是我移植阅读全文

posted @ 2018-04-14 21:05 张叫兽的技术研究院阅读(630) 评论(0) 推荐(0) 编辑

zipkin：调用链显示分析

摘要：为什么使用了httpclient，客户端没有向zipkin server发送日志？因为我实在main方法中调用的，完事后这个线程就没了；httpclient用的还是异步的发送日志方式；所以没发日志。但是现在卡主我的确实为什么只有client的信息，没有server信息！应该还是进程被干掉的原因阅读全文

posted @ 2018-04-14 20:17 张叫兽的技术研究院阅读(474) 评论(0) 推荐(0) 编辑

zipkin：和springcloud集成过程记录

摘要：发现全是springcloudapp的名称，然后是springcloudapp（http://localhost:8080/hello/tom）工程单独调用并没有通知zipkin；原来是因为restTemplate的获取，好用的是使用restTemplate的@autowire的方式，但是如果使用阅读全文

posted @ 2018-04-14 20:03 张叫兽的技术研究院阅读(2755) 评论(0) 推荐(0) 编辑

zipkin：mysql做存储，kafka做接收器，以及如何找到配置名称

摘要：mysql设定 1. 创建表结构：（源码路径）\zipkin-storage\mysql\src\main\resources\mysql.sql 2. zipkin的存储设置为mysql（collector设置为kafka） java -server -jar zipkin-server-2.6 阅读全文

posted @ 2018-04-14 19:58 张叫兽的技术研究院阅读(3211) 评论(0) 推荐(0) 编辑

爱普生打印机显示脱机

摘要：1. 一般是先开电脑，后开打印机会发生这类情况；可以选择重启机器，之后就好了。 2. 或者选择在控制面板里面删掉打印机；然后再重新添加一遍即可（添加一遍也要添加一会儿，因为每次添加都要安装驱动）。重新添加如果现实下面的错误则需要在服务（services.msc）中将printer spooler服阅读全文

posted @ 2018-04-06 22:09 张叫兽的技术研究院阅读(3485) 评论(0) 推荐(0) 编辑

Spark和YARN

摘要：Spark在master node生成DAG之后，将DAG以及map函数，action函数进行打包，还有一个很重的打包内容：如何在worker节点执行。统统打包之后传递给YARN，YARN本身只是负责分配资源，以及将上游应用要执行的内容（spark打的函数包）放在分配的资源里面执行；执行内容他并不知阅读全文

posted @ 2018-04-06 18:05 张叫兽的技术研究院阅读(399) 评论(0) 推荐(0) 编辑

什么是序列化

摘要：什么是序列化？之前一直没有太搞明白；今天再看Hadoop权威指南的时候，加深对于序列化的认知。首先要明白序列化是因为要跨介质；比如网络传输，从内存、硬盘到网络；在比如保存，从内存到硬盘；序列化的目标是二进制；序列化有两层含义，首先是形式是二进制，网络传输以及硬盘存储只能处理二进制格式；其次，序列化阅读全文

posted @ 2018-04-06 17:45 张叫兽的技术研究院阅读(189) 评论(0) 推荐(0) 编辑

Eclipse的maven工具

摘要：左侧是组件以及组件依赖树（层级结构）；右侧是识别出来的所有的组件；点击右侧一棵树的任意一点，你将会发现左侧是呈现了都有哪些组件使用了它。阅读全文

posted @ 2018-04-06 17:19 张叫兽的技术研究院阅读(154) 评论(0) 推荐(0) 编辑

什么是YARN

摘要：YARN的核心组件： 1）ResourceManager，扮演Master角色（和HDFS的nameNode很像）主要用于资源分配；RM有两个子组件，分别是Scheduler（Capacity Scheduler以及Fair Scheduler）以及ApplicationManager，主要用于管理阅读全文

posted @ 2018-04-05 22:38 张叫兽的技术研究院阅读(402) 评论(0) 推荐(0) 编辑

架构师到底管什么

摘要：架构师的作用是核心部分可控，一个完全被架构师控制的项目貌似严谨滴水不漏，但是其实首先这样做成本很高，架构师本来有时间可以做更加有价值的事情，另外封闭的项目本身也是缺乏活力的项目，制约了下面人的热情和创造力。所以架构师，包括项目经理等管理层的角色，要控制住自己的管理欲望，管理该管的，必须管的，其他的阅读全文

posted @ 2018-04-05 22:25 张叫兽的技术研究院阅读(269) 评论(0) 推荐(0) 编辑

Avro和Thrift区别（未完待续）

摘要：两者都是优秀的序列化框架； Avro创造之初是Hadoop之父Doug为了创造一种更加快捷的序列化方案（此时已经有了thrift），用于Hadoop的HDFS的文件序列化问题。 Thrift一个成熟的序列化+RPC的解决方案；也是一种高效传输的方案，代价就是它采用的是静态的IDL的方式，根据定义的接阅读全文

posted @ 2018-04-05 22:21 张叫兽的技术研究院阅读(259) 评论(0) 推荐(0) 编辑

SPI: Service Provider Interface

摘要：Service Provider Interface； JDK提供的一种服务发现的机制；主要是用于厂商实现JDK的只用。比如说打印机，JDK提供了一个驱动接口com.printl.printerDriver；爱普生公司将会提供 com.epson.EpsonPrinterDriver，惠普会提供c 阅读全文

posted @ 2018-04-05 16:45 张叫兽的技术研究院阅读(157) 评论(0) 推荐(0) 编辑

java的try-with-resource机制

摘要：在java7之后可以使用try（resource1, resource2){...}这样声明之后，在try{}执行完成之后或者抛异常跳出，都会调用reouce1.close()，resource2.close()。和之前的finally块很像但是有两点区别：1. try-with-resource 阅读全文

posted @ 2018-04-05 16:44 张叫兽的技术研究院阅读(502) 评论(0) 推荐(0) 编辑

servlet运作机制

摘要：最近研究zipkin，在研究客户端brave的时候，才算开始理解servlet了。 servlet只是tomcat被实例化一次；之后每次访问其实都是对同一个servlet示例操作；所以，不要在servlet的实现中创建什么全局变量（实例变量），并发可能会有问题。通过下面的示例可以测试出只是被实例阅读全文

posted @ 2018-04-05 16:32 张叫兽的技术研究院阅读(146) 评论(0) 推荐(0) 编辑

zipkin之brave

摘要：brave是同步收集信息，及计算调用时间，但是异步发送日志信息给zipkin；所以很多时候你无法在第一时间获取日志数据可能需要等一会。另外在写一个demo的时候，因为最后睡了1秒，经常会发现丢了一些日志；后来最后sleep（5000）之后，日志都成功获取了。 brave在report发送了一个日志之阅读全文

posted @ 2018-04-05 16:25 张叫兽的技术研究院阅读(735) 评论(0) 推荐(0) 编辑

搭建Spring Cloud+Dubbo

摘要：公司要测试一下zipkin是否可以跟踪全流程，项目的架构比较复杂，不要问我为什么，基本架构如下：前端门户，调用spring cloud组件，spring cloud在调用dubbo，这样一套流程。于是在spring cloud以及dubbo搭建过程中的所坑所思所想，记录一下。 ZUUI配置服务出错阅读全文

posted @ 2018-04-05 15:53 张叫兽的技术研究院阅读(1103) 评论(0) 推荐(0) 编辑

SNMP

摘要：（一）安装 SNMP中MIBS的路径：/usr/share/snmp/mibs （二）snmpwalk工具 snmpwalk -v 1 -c neusoft localhost .1.3.6.1.2.1.25.3.3.1.2 -v：代表版本号， -c：是社群，参见下文中有定义，为neusofot l 阅读全文

posted @ 2018-04-05 15:24 张叫兽的技术研究院阅读(227) 评论(0) 推荐(0) 编辑

HDFS（一）

摘要：HDFS的概念 HDFS首先是文件系统（FileSystem，FS），尽管这个FS是基于OS原生的文件系统之上；而且这个文件系统是一个抽象概念，HDFS作为一个整体出现，对外（client）隐藏了其内部分分布式文件存储的细节。 HDFS的核心概念有三个，完美实现了对于内部复杂性的封装：首先是数据块阅读全文

posted @ 2018-04-01 22:20 张叫兽的技术研究院阅读(173) 评论(0) 推荐(0) 编辑

HDFS（二）

摘要：HDFS的I/O主要是三个方面：一致性 HDFS在一致性上面主要是通过校验和（checksum）来实现；从client发起写入的时候会校验一下文件内容，但是发生在pipeline的最后一个节点的时候。为什么没有在最早的一个节点来校验呢？因为在复制到后续节点的时候可能发生丢包导致异常情况；在最后一个阅读全文

posted @ 2018-04-01 22:16 张叫兽的技术研究院阅读(142) 评论(0) 推荐(0) 编辑

HDFS（三）

摘要：DataNode 下面的数据文件有两种类型，一种是数据块，一种是数据块的描述文件（元数据文件），后者文件后面带有.meta后缀； Version文件字段内容其实和NameNode里面涵义是一致的；安全模式，是NameNode在load索引文件（fsimage+edits文件）的时候的状态，改状态下阅读全文

posted @ 2018-04-01 22:14 张叫兽的技术研究院阅读(114) 评论(0) 推荐(0) 编辑

Zipkin

摘要：日志节点说明： Annotation：用于记录发生的事件； BinaryAnnotation：Binary其实是二元的寓意；key-value格式，在zipkin的log日志中代表附加信息。 Endpoint：代表当前主机信息，在Annotation里面的endpoint要注意，跨服务调用应该是源I 阅读全文

posted @ 2018-04-01 22:13 张叫兽的技术研究院阅读(167) 评论(0) 推荐(0) 编辑

Jetty小计，比之tomcat调试还是不方便

摘要：不需要额外的工程支持，不需要硬盘中有tomcat之类的额外文件 Jetty的Debug：右键Debug as... Maven Builder Jetty相关的配置文件如下： Jetty调试的时候，发现第三方的jar包跟不进去（即使下载了源码）。需要在debug 配置里面的Enviroment添加一阅读全文

posted @ 2018-04-01 21:40 张叫兽的技术研究院阅读(190) 评论(0) 推荐(0) 编辑

设置Maven的Web工程启动名称

摘要：java application的web工程名称就是工程名称；但是maven则不同，他的默认的website名称是在maven的pom文件里面的artifactId节点配置的值；例如: 那么请求的路径就是：http://locahost:8081/brave-webmvc4-example/... 阅读全文

posted @ 2018-04-01 21:36 张叫兽的技术研究院阅读(186) 评论(0) 推荐(0) 编辑

Fiddler+Firefox

摘要：配置置代理了，发现还是不好用！无法抓包；配置就是在firefox的“选项”，拉到最下面，就能够看到“网络代理”，点进去；手动代理里面输入Fiddler的代理信息（默认127.0.0.1:8888）后来才发现是因为“No Proxy for"被我配置了127.0.0.1和localhost。而我想阅读全文

posted @ 2018-04-01 21:22 张叫兽的技术研究院阅读(224) 评论(0) 推荐(0) 编辑

04 2018 档案

导航

公告

搜索

常用链接

随笔档案

相册