摘要：
如果一个被序列化的对象中，包含有HashMap、HashSet或HashTable集合，则这些集合中不允许保存当前被序列化对象的直接或间接引用。因为，这些集合类型在反序列化的时候，会调用到当前序列化对象的hashCode方法，而此时（序列化对象还未完全加载）计算出的hashCode有可能不正确，从而 阅读全文
摘要：
流程概述: 1. 生成特征函数 2. 构建概率图 3. 计算node和path的代价:node代价计算即该node对应的所有特征函数权重;path代价即该path对应的所有特征函数权重之和(node和path是有特定的label的) 4. 前向-后向算法计算alpha和beta, 计算期望 以上都是 阅读全文
摘要：
Kafka 消费者端的设计相对生产者要复杂一些，其中一个主要的原因就是，消费者组等相关概念的引入。其中包含了：ConsumerCoordinator、Fetcher、ConsumerNetworkClient 组件，其组合层级示意图如下所示： 从上面主要组件关系可以看出，KafkaConsumer 阅读全文
摘要：
维基百科对B树的定义为“在计算机科学中，B树（B-tree）是一种树状数据结构，它能够存储数据、对其进行排序并允许以O(log n)的时间复杂度运行进行查找、顺序读取、插入和删除的数据结构。B树，概括来说是一个节点可以拥有多于2个子节点的二叉查找树。与自平衡二叉查找树不同，B-树为系统最优化大块数据 阅读全文
摘要：
http://www.cnblogs.com/pinard/p/6111471.html https://www.cnblogs.com/xxrxxr/p/7538430.html https://blog.csdn.net/weixin_42398658/article/details/83271 阅读全文
摘要：
1. 来源 从来源的角度看，两者能很好的区分开，这也是两者最显而易见的区别： open是UNIX系统调用函数（包括LINUX等），返回的是文件描述符（File Descriptor），它是文件在文件描述符表里的索引。fopen是ANSIC标准中的C语言库函数，在不同的系统中应该调用不同的内核api。 阅读全文
摘要：
在网络编程中对于一个网络句柄会遇到阻塞IO 和非阻塞IO 的概念, 这里对于这两种socket 先做一下说明： 基本概念： 阻塞IO:socket 的阻塞模式意味着必须要做完IO 操作（包括错误）才会返回。 非阻塞IO:非阻塞模式下无论操作是否完成都会立刻返回，需要通过其他方式来判断具体操作是否成功 阅读全文
摘要：
TOSCA（Topology and Orchestration Specification for Cloud Applications）是由OASIS组织制定的云应用拓扑编排规范。通俗地说，就是制定了一个标准，用来描述云平台上应用的拓扑结构。目前支持XML和YAML，Cloudiy的蓝图就是基于 阅读全文
摘要：
类networkclient为consumer和producer所共用 network层的分层架构 下图展示了从最上层的KafkaProducer到最底层的Java NIO的构建层次关系： 图中淡紫色的方框表示接口或者抽象类，白色方框是具体实现。 整个架构图也体现了“面向接口编程”的思想：最底层Ja 阅读全文
摘要：
/dev/null ： 在类Unix系统中，/dev/null，或称空设备，是一个特殊的设备文件，它丢弃一切写入其中的数据（但报告写入操作成功），读取它则会立即得到一个EOF。 在程序员行话，尤其是Unix行话中，/dev/null 被称为位桶(bit bucket)或者黑洞(black hole) 阅读全文
摘要：
转自知乎: https://zhuanlan.zhihu.com/p/24709748 阅读全文
摘要：
在实际使用ZooKeeper开发中，我们最常用的是Apache Curator。 在使用ZK API开发时会遇到让人头疼的几个问题，ZK连接管理、SESSION失效等一些异常问题的处理，Curator替我们解决了这些问题，通过对ZK连接状态的监控来做出相应的重连等操作，并触发事件。 更好的地方是Cu 阅读全文
摘要：
case class介绍 样例类（case class）适合用于不可变的数据。它是一种特殊的类，能够被优化以用于模式匹配。 case class定义 case class Book(name: String) { def printBookName(): Unit = { println(name) 阅读全文
摘要：
1. 介绍 压缩列表(ziplist)是哈希键的底层实现之一。它是经过特殊编码的双向链表，和整数集合(intset)一样，是为了提高内存的存储效率而设计的。当保存的对象是小整数值，或者是长度较短的字符串，那么redis就会使用压缩列表来作为哈希键的实现。 127.0.0.1:6379> HMSET 阅读全文
摘要：
一、Kafka网络通信模型的整体框架概述 Kafka的网络通信模型是基于NIO的Reactor多线程模型来设计的。主要采用了1（1个Acceptor线程）+N（N个Processor线程）+M（M个业务处理线程）。下面的表格简要的列举了下： 线程数线程名线程具体说明1kafka-socket-acc 阅读全文
摘要：
介绍 java.lang包在java应用中会自动导入。该包包含很多常用的类，从NullPointException到Object，Math以及String等。 java.lang.System类是一个final类，意味这我们不能创建它的实例，因此其所有方法都是static。下面我们说明两个系统方法读 阅读全文
摘要：
CMD 和 ENTRYPOINT 指令都是用来指定容器启动时运行的命令。 单从功能上来看，这两个命令几乎是重复的。单独使用其中的一个就可以实现绝大多数的用例 exec 模式和 shell 模式 CMD 和 ENTRYPOINT 指令都支持 exec 模式和 shell 模式的写法，所以要理解 CMD 阅读全文
摘要：
通过下面这个例子，我们看看 typedef 是怎么搭配函数指针使用的吧。 int add(int a, int b) { return a + b; } typedef int (PTypeFun1)(int, int); // 声明一个函数类型 typedef int (*PTypeFun2)(i 阅读全文
摘要：
条件变量是线程的另外一种同步机制，这些同步对象为线程提供了会合的场所，理解起来就是两个（或者多个）线程需要碰头（或者说进行交互-一个线程给另外的一个或者多个线程发送消息），我们指定在条件变量这个地方发生，一个线程用于修改这个变量使其满足其它线程继续往下执行的条件，其它线程则接收条件已经发生改变的信号 阅读全文
摘要：
一, 概述 kafka的broker节点大致包涵了一下模块 zk连接器：KafkaZkClient动态配置管理：dynamicConfigManager，dynamicConfigHandlers，这个是为了解决修改配置需要重启的问题，提取了部分配置，并不是所有配置都可以不重启生效。依赖了zkCli 阅读全文
摘要：
关于索引删除的策略IndexDeletionPolicy IndexDeletionPolicy是一个接口，是有关在建立索引的过程中，对索引文件进行灵活地（删除）操作的一种自定义接口。可以在合适的时机进行删除操作，可以指定删除的时刻，完全可以根据自己的需要进行定制，但是，这可能会造成存储开销，但是相 阅读全文
摘要：
IndexWirter继承了TwoPhaseCommit接口，实现三个方法：prepareCommit，commit与rollback prepareCommit，完成二阶段提交第一阶段的工作，它会尽可能多的完成更新工作，但又避免完成真实的提交。你可以轻松地利用rollback废弃掉当前阶段完成的所 阅读全文
摘要：
1.tf.concat() tensorflow中用来拼接张量的函数tf.concat()，用法: tf.concat([tensor1, tensor2, tensor3,...], axis) 先给出tf源代码中的解释: t1 = [[1, 2, 3], [4, 5, 6]] t2 = [[7, 阅读全文
摘要：
https://blog.csdn.net/z_ryan/article/details/79685072 引言 我们都知道二叉查找树的查找的时间复杂度是Ｏ(log N)，其查找效率已经足够高了，那为什么还有Ｂ树和Ｂ＋树的出现呢？难道它两的时间复杂度比二叉查找树还小吗？ 答案当然不是，Ｂ树和Ｂ＋树的 阅读全文
摘要：
一、ReplicaManager简介 replicaManager主要用来管理topic在本broker上的副本信息。并且读写日志的请求都是通过replicaManager进行处理的。 每个replicaManager实例都会持有一个Pool[TopicPartition, Partition]类型 阅读全文
摘要：
前言 消费端通过poll方法拉取数据时, 每次都会调用fetch去服务端发起拉数据请求, 那每次不间断的拉取数据, broker端如何判定该次请求拉取的offset? 简介 为了减少客户端每次拉取都要拉取全部的分区，增加了增量拉取分区的概念。 拉取会话（Fetch Session），类似于web中的 阅读全文
摘要：
关于java NIO参见: https://blog.csdn.net/asdfsadfasdfsa/article/details/103828058 Broker请求处理流程 下面通过重要环节的源码分析,来梳理请求处理的整个过程(kafka2.3) KafkaServer Kafka的网络层入口 阅读全文
摘要：
在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化时，由控制器 阅读全文
摘要：
跟进TermHashPerField里面的add()方法, 新增term 为term即将存储的[docId,freq]信息、posi等信息，在bytePool中申请slice（内存空间），并将对应的slice起始位置作为[docId,freq]和posi等信息的结束位置写入intPool（由于还没存 阅读全文
摘要：
1.一个栗子 List arrayList = new ArrayList(); arrayList.add("aaaa"); arrayList.add(100); for(int i = 0; i< arrayList.size();i++){ String item = (String)arr 阅读全文
摘要：
Producer 端的整体流程如下图所示。 这里涉及到的主要方法是： KafkaProducer.dosend()；Sender.run()；NetworkClient.poll()（NetworkClient.dosend()）；Selector.poll()； 下面会结合上图，对这几个方法做详细 阅读全文
摘要：
当需要在进程启动后，加载指定路径下的jar包，就需要用到反射 1.需要自己重新实例化一个类加载器，因为类加载器只能在实例化的时候指定jar包路径 2.这个类加载器必须重写以打破双亲委托，因为必须优先加载执行路径下jar包的所有类，没有再去父加载器去找，why？ 3.关于线程上下文加载器，同样可以破坏 阅读全文
摘要：
开始认为kafka生产端的future应用是线程中的异步操作, 直到后来看到消费端主要到只有一个线程的情况下収future的使用 NIO.2，主要包括新的： 异步 I/O（简称 AIO）；Multicase 多播；Stream Control Transport Protocol（SCTP）；文件系 阅读全文
摘要：
1.如果存在大对象或者文件io，适当加大年轻代内存区大小（2G堆内存情况下上传文件频繁fgc，改成4G后解决，或者在2G堆内存时修改默认的年轻代和年老代比值） 2.使用bytebuffer缓冲区 3.直接使用bytebuffer的直接内存区（堆外）https://blog.csdn.net/weix 阅读全文
摘要：
embded 和 RAW 使用debug object命令会发现，不同长度的string的encoding有embed和raw两种类型，也是为了节省空间，64字节及以下的string会使用embed存储，以上使用RAW存储(不同redis版本下可能会有不同的界限)，之所以使用64为界是因为内存分配函 阅读全文
摘要：
kafka顺序写盘用的就是FileChannel类实现 FileChannel优势： 多线程并发读写，并发性； IO读写性能提高（OS负责），也可引做共享内存，减少IO操作，提升并发性； 应用crash，保证这部分内容还能写的进去文件。在我们调用channel.write(bytebuffer)之后 阅读全文
摘要：
一、简介 ** 所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；**同理，还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。 换句换说，二层负载均衡会通过一个虚拟MAC地址接收请求，然后再分配到真实的MAC地址；三层负载均衡会通过一个虚拟IP地址接收请求， 阅读全文
摘要：
在看HttpMessageConverter部分内容的时候，看到了ObjectProvider。是在这HttpMessageConvertersAutoConfiguration HttpMessageConverters 2个类中引入这个的。在网上找了2篇文章。感觉写的不错 自动配置中的Objec 阅读全文
摘要：
官方文档 当我们把单体 web 应用拆分成分布式 web 应用时，一个不得不面对的问题就是如何处理 session。我们一般的做法不使用 HttpServletRequest，使用分布式存储数据库来存储 session，用的比较多的方案是使用 redis 来存储 sesion 。这样做没什么问题，但 阅读全文
摘要：
要说清楚RefreshScope,先要了解Scope Scope(org.springframework.beans.factory.config.Scope)是Spring 2.0开始就有的核心的概念 RefreshScope(org.springframework.cloud.context.s 阅读全文