摘要：
参考: https://blog.csdn.net/m0_37917271/article/details/82350571 以下图示的每个黄色块都可以视为一层神经元(非一个神经元,因为一个神经元w的shape是[1, 输入维度]), 整个绿色区域也可视为一层神经元 ①忘记门 决定了我们应该忘记哪些 阅读全文
摘要：
一, maven-assembly-plugin Assembly 插件支持将项目的所有依赖、文件都打包到同一个输出文件中。目前支持输出以下文件类型： ziptartar.gz (or tgz)tar.bz2 (or tbz2)tar.snappytar.xz (or txz)jardirwar 二 阅读全文
摘要：
一、NIO基础 Java New IO是从Java1.4版本开始引入的一个新的IO api，可以替代以往的标准IO，NIO相比原来的IO有同样的作用和目的，但是使用的方式完全不一样，NIO是面向缓冲区的，基于通道的IO操作，这也让它比传统IO有着更为高效的读写。 1.1 IO和NIO的主要区别 IO 阅读全文
摘要：
wakeup 方法 生产端的send方法和消费端都有wakeup方法,其作用是将nio的poll方法中断,(nio poll方法中, waittime为-1表示永久阻塞,0表示立即返回) 生产端唤醒分析: 它的作用就是将 Sender 线程从poll方法的阻塞中唤醒，poll方法的作用是轮询注册在多 阅读全文
摘要：
第一步，账号A和KDC互相认证。 1、账号A利用哈希函数将密码转化成一把密钥，这里称它为Key-Client。 2、利用Key-Client将当前的时间戳加密，生成一个字符串。表示为“{时间戳} Key-Client”。 3、将上一步生成的字符串“{时间戳} Key-Client”、账号A的信息以及 阅读全文
摘要：
kafka消费者有两种模式, 订阅模式和分配模式, 具体区别如下 模式不同之处相同之处subscribe()使用 Kafka Group 管理，自动进行 rebalance 操作可以在 Kafka 保存 offsetassign()用户自己进行相关的处理也可以进行 offset commit，但是尽 阅读全文
摘要：
一, 在原有安装文件下新增ssl模块 1.首先，找到Nginx安装包的位置。比如，我的是：/usr/local/src/nginx-1.15.1 cd /usr/local/src/nginx-1.15.1 如果还是找不到（比如删除了）。可以查看当前Nginx的版本号，重新下载一个。 2.生成新的N 阅读全文
摘要：
在之前的旧版本中，Kafka只能支持两种语义：At most once和At least once。At most once保证消息不会朝服，但是可能会丢失。在实践中，很有有业务会选择这种方式。At least once保证消息不会丢失，但是可能会重复，业务在处理消息需要进行去重。、 Kafka在0 阅读全文
摘要：
Kafka是一个基于日志的流处理平台，一个topic可以有多个分区（partition），分区是复制的基本单元，在单节点上，一个分区的数据文件可以存储在多个磁盘目录中，每个分区的日志文件存储的时候又会分成一个个的segment，默认日志段（segment）的大小是1GB，segment是日志清理的基 阅读全文
摘要：
java -Dfoo="some string" SomeClass 也就是说-D是用来在启动一个java程序时设置系统属性值的。如果该值是一个字符串且包含空格，那么需要包在一对双引号中。 何为系统属性值呢？也就是在System类中通过getProperties()得到的一串系统属性。 下面我们来写 阅读全文
摘要：
（一）首先来谈谈在C中的作用，分为修饰变量和修饰函数两种情况： （1）修饰变量，变量分为局部静态变量和全局静态变量，他们都存在内存的静态区，静态全局变量的作用域仅限于变量被定义的文件中，准确的说：是从定义之处开始，到文件结尾处结束。静态局部变量，就是函数体里面定义的，就只能在这个函数里用了，同一个文 阅读全文
摘要：
预备知识: C程序在内存中的空间占用分配 (1)代码区：存放程序代码； (2)数据区 a.静态数据区: 在编译器进行编译的时候就为该变量分配的内存,即全局变量和静态变量(用static声明的变量），存放在这个区的数据程序全部执行结束后系统自动释放，声明周期贯穿于整个程序执行过程。全局变量和静态变量的 阅读全文
摘要：
http://blog.codinglabs.org/articles/theory-of-mysql-index.html 摘要 本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据 阅读全文
摘要：
LZ4 LZ4是一种无损数据压缩算法，着重于压缩和解压的速度，并且应用广泛。在Hadoop、Linux内核、文件系统都有应用，而在Lucene中，则是使用LZ4对倒排表的数据以及词向量（termVector）进行压缩存储。在本篇文章中，介绍LZ4Fast的压缩逻辑在Lucene中的Java实现。 两 阅读全文
摘要：
1）Consumer中出现单独的standalone consume，而且standalone consume的名字和某个GroupId名字相同，这种现象就会触发报错，具体原因我未深究，因为本项目没有standalone consume存在； 2）组成员“崩溃”，造成kafka被动Rebalance 阅读全文
摘要：
关于梯度消失问题: 1.网络层次越深, 越容易引起梯度消失, 无论是纵向网络(bp), 还是横向网络(rnn), 梯度消失是由激活函数的导数位于[0,1]区间引起的 2.bp网络梯度消失会导致最前端的W学习不到, 而rnn梯度消失会引起记忆问题,只能学习到短期网络, 具体见https://www.j 阅读全文
摘要：
大部分人应该都知道使用System.exit()或Runtime.exit()可以直接导致当前JVM进程退出，但是仔细想想这个好像跟SpringBoot没啥关系哈 另外一个可能会导致进程退出的是所有的非daemon进程完全终止，那么根据这个条件反推的话是不是说只要保证SpringBoot进程中包含1 阅读全文
摘要：
一．指针与数组的联系： 指针与数组是C语言中很重要的两个概念，它们之间有着密切的关系，利用这种关系，可以增强处理数组的灵活性，加快运行速度，本文着重讨论指针与数组之间的联系及在编程中的应用。 1．指针与数组的关系 当一个指针变量被初始化成数组名时，就说该指针变量指向了数组。如： char str[2 阅读全文
摘要：
一、sudo执行命令的流程 将当前用户切换到超级用户下，或切换到指定的用户下， 然后以超级用户或其指定切换到的用户身份执行命令，执行完成后，直接退回到当前用户。 具体工作过程如下： 当用户执行sudo时，系统会主动寻找/etc/sudoers文件，判断该用户是否有执行sudo的权限 -->确认用户具 阅读全文
摘要：
一, docker网络模型 一）网络模式介绍 查看显示的三种网络模式，其实还有一种是容器模式。一共4种 docker network ls bridge模式：使用–net =bridge指定，默认设置； host模式：使用–net =host指定； none模式：使用–net =none指定； co 阅读全文
摘要：
一 , 定义 C99及以上标准支持 标准示例如下： typedef struct st_type { int i; int a[]; }type_a; 初始大小为sizeof(i)，0个元素的数组没有占用空间，而后我们可以进行变长操作了。 通过如下表达式给结构体分配内存： type_a *p = ( 阅读全文
摘要：
set(LINK_DIR /usr/lib2/libnet-1.2-rc3/src/.libs) set(LINK_DIR2 /usr/lib2/libpcap-1.0.0) set(PRO simple_network_sniffer) #1.cmake verson，指定cmake版本 cmak 阅读全文
摘要：
在cbow方法中，是用周围词预测中心词，从而利用中心词的预测结果情况，使用GradientDesent方法，不断的去调整周围词的向量。当训练完成之后，每个词都会作为中心词，把周围词的词向量进行了调整，这样也就获得了整个文本里面所有词的词向量。 要注意的是， cbow的对周围词的调整是统一的：求出的g 阅读全文
摘要：
状态机一般用在事件处理中，并且事件会有多种状态。当事件发生变化时，会触发对应的事件处理动作。Kafka控制启动状态机时有下面特点： 1、分区状态机和副本状态机需要获取集群中所有分区和副本，因此需要先初始化上下文后，才能启动状态机。 2、分区包含了多个副本，只有当集群中所有的副本初始化好之后，才可以初 阅读全文
摘要：
service是一个抽象概念，定义了一个服务的多个pod逻辑合集和访问pod的策略，一般把service称为微服务 举个例子一个a服务运行3个pod，b服务怎么访问a服务的pod，pod的ip都不是持久化的重启之后就会有变化。 这时候b服务可以访问跟a服务绑定的service，service信息是固 阅读全文
摘要：
找到Integer.class所在的jar包 1.1.使用ls命令版本1 ls *.jar | while read jarfile; do echo "$jarfile" jar -tf $jarfile | grep "Integer.class" done 在Linux终端命令行输入如下命令， 阅读全文
摘要：
umask值用于设置用户在创建文件时的默认权限，当我们在系统中创建目录或文件时，目录或文件所具有的默认权限就是由umask值决定的。 对于root用户，系统默认的umask值是0022；对于普通用户，系统默认的umask值是0002。执行umask命令可以查看当前用户的umask值。 [root@l 阅读全文
摘要：
设置消费者properties的两个参数 consumer.group.id properties.setProperty("auto.offset.reset", "earliest”) // latest 注意： 只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开 阅读全文
摘要：
SASL(简单授权和安全层)是一个互联网标准，它制定了一个鉴权协议，且在client和server之间建立连接。SASL定义了鉴权数据如何交换，但是并没有制定数据的内容。它是一个鉴权机制框架。 简单认证与安全层 (SASL) 是一个在网络协议中用来认证和数据加密的构架。它把认证机制从程序中分离开, 阅读全文
摘要：
单点可达：给定一副有向图和一个起点s,求是否存在一条从s到v的路径。 多点可达：给定一幅有向图和一个节点的集合，求是否存在一条从集合中的任意顶点到给定顶点的有向路径。 有向图的可达性API: public class DirectedDFS DirectedDFS(Digraph G,int s) 阅读全文
摘要：
我们需要实现的类有以下几个： LoginModuleProvider（client和server）SaslClientFactorySaslClientSaslServerFactorySaslServer LoginModule 要先实现LoginModule。这个LoginModule中在客户端 阅读全文
摘要：
[kafka_spout:7-MultipleThreadSpoutExecutors] WARN o.a.kafka.common.utils.AppInfoParser - Error registering AppInfo mbean javax.management.InstanceAlre 阅读全文
摘要：
逻辑斯蒂回归和感知机的异同： 两类都是线性分类器； 损失函数两者不同：逻辑斯蒂回归使用极大似然（对数损失函数），感知机使用的是均方损失函数（即错误点到分离平面的距离，最小化这个值） 逻辑斯蒂比感知机的优点在于对于激活函数的改进。 前者为sigmoid function，后者为阶跃函数。这就导致LR是 阅读全文
摘要：
一、得到系统内存的一些信息 @Test public void runtimeInfo() { Runtime runtime = Runtime.getRuntime(); int processors = runtime.availableProcessors(); long freeMemor 阅读全文
摘要：
1、Kafka brokers的SASL配置 在broker中选择1个或多个支持的机制启用，kafka目前支持的机制有 GSSAPI 和 PLAIN 。 添加一个JAAS文件来配置选择的 GSSAPI（Kerberos）或 PLANIN。 JAAS配置文件位置作为JVM参数传递给每个broker代理 阅读全文
摘要：
java8给HotSpot VM引入了Native Memory Tracking (NMT)特性，可以用于追踪JVM的内部内存使用 开启 -XX:NativeMemoryTracking=summary 使用-XX:NativeMemoryTracking=summary可以用于开启NMT，其中该 阅读全文
摘要：
一个消费者 group 由一个或者多个消费者组成，原则上每个消费者都需要有一个 groupId。这个可以在KafkaConsumer创建的时候指定。当消费者组只有一个消费者时，此时可以认为就是点对点模式；当有多个消费者时，就可以认为是发布订阅模式。 对于Broker 端的TopicPartition 阅读全文
摘要：
在K8S运行的服务，从简单到复杂可以分成三类：无状态服务、普通有状态服务和有状态集群服务。下面分别来看K8S是如何运行这三类服务的。 无状态服务，K8S使用RC（或更新的Replica Set）来保证一个服务的实例数量，如果说某个Pod实例由于某种原因Crash了，RC会立刻用这个Pod的模版新启一 阅读全文
摘要：
void指针的基本概念 void的意思就是“无类型”，void指针则为“无类型指针”，void指针可以指向任何类型的数据。 所以void指针一般被称为通用指针或者泛指针,或者叫做万能指针 定义形式 ： void *p; **在C语言中在任何时候都可以用void类型的指针来代替其他类型的指针，void 阅读全文
摘要：
k8s直接挂在/etc/localtime,发现进去容器后执行date -R和宿主机得到的结果一致, 但是jvm中获取到的时间和系统相差8小时, 日志打印同样相差8小时. 在当前基础镜像下, 没有/etc/timezone只有/etc/localtime, 通过命令ls -l /etc/localt 阅读全文