摘要:
1.“TCP segment of a reassembled PDU” 指TCP层收到上层大块报文后分解成段后发出去。于是有个疑问,TCP层完全可以把大段报文丢给IP层,让IP层完成分段,为什么要在TCP层分呢? 其实这个是由TCP的MSS(Maximum Segment Size,最大报文段长度 阅读全文
摘要:
用nohup运行命令可以使命令永久的执行下去,和用户终端没有关系,例如我们断开SSH连接都不会影响他的运行,注意了nohup没有后台运行的意思;&才是后台运行 &是指在后台运行,但当用户推出(挂起)的时候,命令自动也跟着退出 使用&后台运行程序: 结果会输出到终端 使用Ctrl + C发送SIGIN 阅读全文
摘要:
一个 Pod 中可以有多个 container,也可以有多个 init container,init container 会在应用启动之前启动,并且如果有多个应用会依次启动,只有一个运行成功了,才会启动下一个,所有 init container 都运行结束了,应用才会启动,因此,我们可以借助 ini 阅读全文
摘要:
我们都知道kafka生产者send一条记录(record)后并没有直接发送到kafka服务端,而是先将它保存到内存(RecordAccumulator)中,用于压缩之后批量发送,这里内存的创建和释放是比较消耗资源的,为了实现内存的高效利用,基本上每个成熟的框架或者工具都有一套内存管理机制,kafka 阅读全文
摘要:
https://www.jianshu.com/p/497e7640b57c https://xie.infoq.cn/article/f9f75882748a15f628d8dee6b 什么是零拷贝? 零拷贝(英语: Zero-copy) 技术是指计算机执行操作时,CPU不需要先将数据从某处内存复 阅读全文
摘要:
c中的数据类型 C中不同数据类型所占的字节大小,在不同的操作系统和编译器下,是不同的,一般主要说gcc下,32位或64位系统的,蓝色部分是32和64位系统不同的,表如下: 注意: 1. 求数组大小时,如果数组作为参数传递时,退化为指针,所以sizeof(arr)大小为该系统下指针的大小 2. 对于C 阅读全文
摘要:
1. redis中的链表 在redis中链表的应用非常广泛,例如列表键的底层实现之一就是链表。而且,在redis中的链表结构被实现成为双向链表,因此,在头部和尾部进行的操作就会非常快。 通过列表键的命令感受一下双向链表:列表键命令详解 127.0.0.1:6379> LPUSH list a b c 阅读全文
摘要:
1、节点选择器(nodeSelector) nodeSelector是目前最为简单的一种pod运行时调度限制,目前在Kubernetes1.7.x及以下版本可用。Pod.spec.nodeSelector通过kubernetes的label-selector机制选择节点,由调度器调度策略匹配labe 阅读全文
摘要:
存现这种错误是因为 编写的 shell脚本是在win下编写的,每行结尾是\r\n 的Unix 结果行是\n 具体可以再notepad中查看所有字符显示 所以在Linux下运行脚本 会任务\r 是一个字符,所以运行错误,需要把文件转换下, 运行脚本 dos2unix 脚本名 阅读全文
摘要:
系统调用 操作系统的主要功能是为管理硬件资源和为应用程序开发人员提供良好的环境,但是计算机系统的各种硬件资源是有限的,因此为了保证每一个进程都能安全的执行。处理器设有两种模式:“用户模式”与“内核模式”。一些容易发生安全问题的操作都被限制在只有内核模式下才可以执行,例如I/O操作,修改基址寄存器内容 阅读全文
摘要:
首先是系统打印日志 06:17:29.255 [http-nio-9055-exec-3] INFO o.a.c.c.C.[Tomcat].[localhost].[/] - Before request [uri=/childOrder/ModifiyChildOrderStatusDeliver 阅读全文
摘要:
问题一:在NLP任务中,词向量维度(embedding size)是否一定要等于LSTM隐藏层节点数(hidden size)? 词向量(Word Embedding)可以说是自然语言处理任务的基石,运用深度学习的自然语言处理任务更是离不开词向量的构造工作。在文本分类,问答系统,机器翻译等任务中,L 阅读全文
摘要:
1. 生命周期介绍 maven是一个项目构建(build)工具。对于一个项目包含清理、编译、测试、打包、发布包、部署等工作,maven把这些工作抽象成一个项目的生命周期,即mavn的生命周期。可以在不使用maven的情况下,实现项目的清理、编译、测试、打包等项目相关操作,可以更好理解maven功能。 阅读全文
摘要:
1. CopyOnWriteArrayList 功能简介 CopyOnWriteArrayList 是juc中提供的 并发安全的 ArrayList, 我们拆分一下类名 "Copy" "On" "Write" "ArrayList", 从字面意思我们推断出, 这个是以在 Write 时进行 Copy 阅读全文
摘要:
要判断一个结构体所占的空间大小,大体来说分三步走: 1.先确定实际对齐单位,其由以下三个因素决定 1> CPU周期 WIN vs qt 默认8字节对齐 Linux 32位 默认4字节对齐,64位默认8字节对齐 2> 结构体最大成员(基本数据类型变量) 3> 预编译指令#pragma pack(n)手 阅读全文
摘要:
https://blog.csdn.net/men_wen/article/details/75668345 https://blog.csdn.net/sinat_35261315/article/category/738041 阅读全文
摘要:
apt-get install g++ 阅读全文
摘要:
1. 二维卷积 图中的输入的数据维度为14×14,过滤器大小为5×5,二者做卷积,输出的数据维度为10×10(14−5+1=10)。 没有padding的情况下,经过卷积操作,输出的数据维度会减少。以二维卷积为例,输入大小 n×n,过滤器大小f×f,卷积后输出的大小为(n−f+1)×(n−f+1)。 阅读全文
摘要:
一般我们在Linux下执行某些外部程序的时候可能会提示找不到共享库的错误, 比如: tmux: error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file: No such file 阅读全文
摘要:
训练数据和测试数据的格式: 如上所示,”He reckons the current account deficit will narrow to only #1.8 billion in September .”代表一个训练句子xx,而CRF要求将这样的句子拆成每一个词一行并且是固定列数的数据,其 阅读全文
摘要:
用户在使用 KafkaProducer 发送消息时,首先需要将待发送的消息封装成 ProducerRecord,返回的是一个 Future 对象,典型的 Future 设计模式。在发送时也可以指定一个 Callable 接口用来执行消息发送的回调。 1、ProducerRecord 类图 我们首先来 阅读全文
摘要:
一:前情提要 SASL_PLAINTEXT是一种简单的用户名和密码认证机制,是一种kafka加密协议,PLAINTEXT是传输层协议 二:配置准备 1:JAVA_HOME 有JAVA_HOME的环境变量,且java版为1.8及以上,jdk目录无中文和空格; 2:KAFKA项目部署 下载解压KAFKA 阅读全文
摘要:
TextRank的灵感来源于PageRank算法,这是一个用作网页重要度排序的算法。 并且,这个算法也是基于图的,每个网页可以看作是一个图中的结点,如果网页A能够跳转到网页B,那么则有一条A->B的有向边。这样,我们就可以构造出一个有向图了。 然后,利用公式: 经过多次迭代就可以获得每个网页对应的权 阅读全文
摘要:
在 Linux 平台上运行的进程都会从系统资源申请一定数量的句柄,而且系统控制了进程能够申请的最大句柄数量。用户程序如果不及时释放无用的句柄,将会引起句柄泄露,从而可能造成申请资源失败,导致系统文件句柄用光连接不能建立。本文主要介绍Linux下如何查看和修改进程打开的文件句柄数,避免这类问题的发生。 阅读全文
摘要:
System.out.println(0.1d == 0.1f); 结果会是flase 类型升级(type promotion) 首先,来看看java中的几种原生的数值类型进行==或!=比较运算的时候会发生什么。 如果运算符两边的数值类型不同,则首先会进行类型升级(type promotion),规 阅读全文
摘要:
Query q = NumericRangeQuery.newLongRange("idField", 1L, 10L, true, true); 对数值类型建索引的时候,会把数值转换成多个 lexicographic sortable string ,然后索引成 trie 字典树结构。 例如:假设 阅读全文
摘要:
有向图 在无向图中,边没有方向,两条边之间的顶点是单向可达的,而有向图的边是单向的。虽然边的性质不同,但我们仍然可以用邻接表来表示有向图。对有向图的结构定义如下: #include <map> #include <forward_list> using namespace std; struct D 阅读全文
摘要:
1. 介绍 quicklist结构是在redis 3.2版本中新加的数据结构,用在列表的底层实现。 通过列表键查看一下:redis 列表键命令详解 127.0.0.1:6379> RPUSH list 1 2 5 1000 "redis" "quicklist"(integer) 127.0.0.1 阅读全文
摘要:
参见: https://www.codercto.com/a/88797.html 代码版本: 2.0.0-SNAPSHOT StartUp KafkaServer启动时会初始化一个LogManager并调用startup()方法进行启动。该模块即为Kafka的Broker上其中的一个后台线程,用于 阅读全文
摘要:
1. AveragedPerceptron.py class AveragedPerceptron(object): '''An averaged perceptron, as implemented by Matthew Honnibal. See more implementation deta 阅读全文
摘要:
指针数组(数组中的元素是指针变量) 定义 int *p[n]; []优先级高,先与p结合成为一个数组,再由int*说明这是一个整型指针数组,它有n个指针类型的数组元素。这里执行p+1时,则p指向下一个数组元素,这样赋值是错误的:p=a;因为p是个不可知的表示,只存在p[0]、p[1]、p[2]... 阅读全文
摘要:
原始模型: 原始模型: 就是根据输入(x,y),根据词x和词y共现的最大概率迭代模型 参考:https://www.cnblogs.com/Micang/p/10235783.html word2vec的详细实现,简而言之,就是一个三层的神经网络。要理解word2vec的实现,需要的预备知识是神经网 阅读全文
摘要:
一、简介 支持向量机(support vector machines)是一种二分类模型,它的目的是寻找一个超平面来对样本进行分割,分割的原则是间隔最大化,最终转化为一个凸二次规划问题来求解。由简至繁的模型包括: 当训练样本线性可分时,通过硬间隔最大化,学习一个线性可分支持向量机; 当训练样本近似线性 阅读全文
摘要:
kafka中的消费者在读取服务端的数据时,需要将服务端的磁盘文件通过网络发送到消费者进程,网络发送需要经过几种网络节点。如下图所示: 传统的读取文件数据并发送到网络的步骤如下: (1)操作系统将数据从磁盘文件中读取到内核空间的页面缓存; (2)应用程序将数据从内核空间读入用户空间缓冲区; (3)应用 阅读全文
摘要:
1. 创建线程 pthread_create(pthread_t *, const pthread_attr_t *, void *(*)(void *), void *) 参数说明 pthread_t * 表示线程ID,声明方式pthread_t tid; const pthread_attr_t 阅读全文
摘要:
转自 : https://www.cnblogs.com/Determined22/p/6562546.html 反向传播的计算过程: 几点说明: 1.反向传播,传播的是误差, 但是与总体误差的概念不同,总体误差可以使交叉熵损失,平方差损失等是个标量, 反向传播中间层误差是个向量 2.上面提到的4个 阅读全文
摘要:
RDB持久化机制 RDB持久化是把当前进程数据生成时间点快照(point-in-time snapshot)保存到硬盘的过程,避免数据意外丢失 1.1 RDB触发机制 RDB触发机制分为手动触发和自动触发。 手动触发的两条命令: SAVE:阻塞当前Redis服务器,知道RDB过程完成为止。 BGSA 阅读全文
摘要:
环境: ubuntu18.04 + clion 一, 编译 1. 下载openjdk13源码 2. 安装编译需要的环境依赖 apt-get install libfreetype6-dev libcups2-dev libx11-dev libxext-dev libxrender-dev libx 阅读全文
摘要:
消息传输保障 一般而言,消息中间件的消息传输保障有3个层级,分别如下。 at most once:至多一次。消息可能会丢失,但绝对不会重复传输。at least once:最少一次。消息绝不会丢失,但可能会重复传输。exactly once:恰好一次。每条消息肯定会被传输一次且仅传输一次。 Kafk 阅读全文
摘要:
在Kafka 0.11.0.0引入了EOS(exactly once semantics,精确一次处理语义)的特性,这个特性包括kafka幂等性和kafka事务两个属性 1 生产者幂等性 1.1 引入 幂等性引入目的: 生产者重复生产消息。生产者进行retry会产生重试时,会重复产生消息。有了幂等性 阅读全文