02 2023 档案
摘要：LZ4 LZ4是一种无损数据压缩算法，着重于压缩和解压的速度，并且应用广泛。在Hadoop、Linux内核、文件系统都有应用，而在Lucene中，则是使用LZ4对倒排表的数据以及词向量（termVector）进行压缩存储。在本篇文章中，介绍LZ4Fast的压缩逻辑在Lucene中的Java实现。 两
阅读全文
摘要：1）Consumer中出现单独的standalone consume，而且standalone consume的名字和某个GroupId名字相同，这种现象就会触发报错，具体原因我未深究，因为本项目没有standalone consume存在； 2）组成员“崩溃”，造成kafka被动Rebalance
阅读全文
摘要：关于梯度消失问题: 1.网络层次越深, 越容易引起梯度消失, 无论是纵向网络(bp), 还是横向网络(rnn), 梯度消失是由激活函数的导数位于[0,1]区间引起的 2.bp网络梯度消失会导致最前端的W学习不到, 而rnn梯度消失会引起记忆问题,只能学习到短期网络, 具体见https://www.j
阅读全文
摘要：大部分人应该都知道使用System.exit()或Runtime.exit()可以直接导致当前JVM进程退出，但是仔细想想这个好像跟SpringBoot没啥关系哈 另外一个可能会导致进程退出的是所有的非daemon进程完全终止，那么根据这个条件反推的话是不是说只要保证SpringBoot进程中包含1
阅读全文
摘要：一．指针与数组的联系： 指针与数组是C语言中很重要的两个概念，它们之间有着密切的关系，利用这种关系，可以增强处理数组的灵活性，加快运行速度，本文着重讨论指针与数组之间的联系及在编程中的应用。 1．指针与数组的关系 当一个指针变量被初始化成数组名时，就说该指针变量指向了数组。如： char str[2
阅读全文
摘要：一、sudo执行命令的流程 将当前用户切换到超级用户下，或切换到指定的用户下， 然后以超级用户或其指定切换到的用户身份执行命令，执行完成后，直接退回到当前用户。 具体工作过程如下： 当用户执行sudo时，系统会主动寻找/etc/sudoers文件，判断该用户是否有执行sudo的权限 -->确认用户具
阅读全文
摘要：一, docker网络模型 一）网络模式介绍 查看显示的三种网络模式，其实还有一种是容器模式。一共4种 docker network ls bridge模式：使用–net =bridge指定，默认设置； host模式：使用–net =host指定； none模式：使用–net =none指定； co
阅读全文
摘要：一 , 定义 C99及以上标准支持 标准示例如下： typedef struct st_type { int i; int a[]; }type_a; 初始大小为sizeof(i)，0个元素的数组没有占用空间，而后我们可以进行变长操作了。 通过如下表达式给结构体分配内存： type_a *p = (
阅读全文
摘要：set(LINK_DIR /usr/lib2/libnet-1.2-rc3/src/.libs) set(LINK_DIR2 /usr/lib2/libpcap-1.0.0) set(PRO simple_network_sniffer) #1.cmake verson，指定cmake版本 cmak
阅读全文
摘要：在cbow方法中，是用周围词预测中心词，从而利用中心词的预测结果情况，使用GradientDesent方法，不断的去调整周围词的向量。当训练完成之后，每个词都会作为中心词，把周围词的词向量进行了调整，这样也就获得了整个文本里面所有词的词向量。 要注意的是， cbow的对周围词的调整是统一的：求出的g
阅读全文
摘要：状态机一般用在事件处理中，并且事件会有多种状态。当事件发生变化时，会触发对应的事件处理动作。Kafka控制启动状态机时有下面特点： 1、分区状态机和副本状态机需要获取集群中所有分区和副本，因此需要先初始化上下文后，才能启动状态机。 2、分区包含了多个副本，只有当集群中所有的副本初始化好之后，才可以初
阅读全文
摘要：service是一个抽象概念，定义了一个服务的多个pod逻辑合集和访问pod的策略，一般把service称为微服务 举个例子一个a服务运行3个pod，b服务怎么访问a服务的pod，pod的ip都不是持久化的重启之后就会有变化。 这时候b服务可以访问跟a服务绑定的service，service信息是固
阅读全文
摘要：找到Integer.class所在的jar包 1.1.使用ls命令版本1 ls *.jar | while read jarfile; do echo "$jarfile" jar -tf $jarfile | grep "Integer.class" done 在Linux终端命令行输入如下命令，
阅读全文
摘要：umask值用于设置用户在创建文件时的默认权限，当我们在系统中创建目录或文件时，目录或文件所具有的默认权限就是由umask值决定的。 对于root用户，系统默认的umask值是0022；对于普通用户，系统默认的umask值是0002。执行umask命令可以查看当前用户的umask值。 [root@l
阅读全文
摘要：设置消费者properties的两个参数 consumer.group.id properties.setProperty("auto.offset.reset", "earliest”) // latest 注意： 只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开
阅读全文
摘要：SASL(简单授权和安全层)是一个互联网标准，它制定了一个鉴权协议，且在client和server之间建立连接。SASL定义了鉴权数据如何交换，但是并没有制定数据的内容。它是一个鉴权机制框架。 简单认证与安全层 (SASL) 是一个在网络协议中用来认证和数据加密的构架。它把认证机制从程序中分离开,
阅读全文
摘要：单点可达：给定一副有向图和一个起点s,求是否存在一条从s到v的路径。 多点可达：给定一幅有向图和一个节点的集合，求是否存在一条从集合中的任意顶点到给定顶点的有向路径。 有向图的可达性API: public class DirectedDFS DirectedDFS(Digraph G,int s)
阅读全文
摘要：我们需要实现的类有以下几个： LoginModuleProvider（client和server）SaslClientFactorySaslClientSaslServerFactorySaslServer LoginModule 要先实现LoginModule。这个LoginModule中在客户端
阅读全文
摘要：[kafka_spout:7-MultipleThreadSpoutExecutors] WARN o.a.kafka.common.utils.AppInfoParser - Error registering AppInfo mbean javax.management.InstanceAlre
阅读全文
摘要：逻辑斯蒂回归和感知机的异同： 两类都是线性分类器； 损失函数两者不同：逻辑斯蒂回归使用极大似然（对数损失函数），感知机使用的是均方损失函数（即错误点到分离平面的距离，最小化这个值） 逻辑斯蒂比感知机的优点在于对于激活函数的改进。 前者为sigmoid function，后者为阶跃函数。这就导致LR是
阅读全文
摘要：一、得到系统内存的一些信息 @Test public void runtimeInfo() { Runtime runtime = Runtime.getRuntime(); int processors = runtime.availableProcessors(); long freeMemor
阅读全文
摘要：1、Kafka brokers的SASL配置 在broker中选择1个或多个支持的机制启用，kafka目前支持的机制有 GSSAPI 和 PLAIN 。 添加一个JAAS文件来配置选择的 GSSAPI（Kerberos）或 PLANIN。 JAAS配置文件位置作为JVM参数传递给每个broker代理
阅读全文
