半生瓜丶

摘要： 背景 公司有一套大数据的清洗流程，模式是：spark with hive。在执行聚合原始表的操作当中，有一个spark sql过滤条件，如下： yyyy = '${yyyy}' and mm = '${mm}' and dd = '${dd}' and hh = '${hh}' and (dimen 阅读全文

摘要： 前言 最近，有用户反馈自己通过redis的hmset命令写入了一个单个field为1mb，总大小100m左右的命令，在512mb内存限制的容器当中执行，结果却触发了oom killer。最后查看/var/log/syslog日志，发现内容如下。并且：这个oom是在开启aof持久化的时候触发的。 你不 阅读全文

摘要： 概念说明 用户态与内核态 内核态：实从本质上说就是我们所说的内核，它是一种特殊的软件程序，特殊在哪儿呢？控制计算机的硬件资源，例如协调CPU资源，分配内存资源，并且提供稳定的环境供应用程序运行。内核程序可以访问内存的所有数据，包括外围设备，例如硬盘，网卡，cpu也可以将自己从一个程序切换到另一个程序 阅读全文

摘要： 事务隔离的级别 MySql的事务隔离级别一共有四种情况。分别是：读未提交、读已提交、可重复读、串行化 读未提交：指的是一个事务可以读取到另一个未提交事务所做出的修改。 读已提交：指一个事务执行过程中可以读取另一个事务已提交的修改。 可重复读：指一个事务在启动的瞬间，事务所看到的数据保持不变。即使其它 阅读全文

摘要： 索引相关数据结构 Hash表 它的特点就是一个key通过hash计算可以得出一个位置，而通过这个位置可以直接得出对应的值。所以，它查找的时间复杂度是O（1）。无可避免的，这里不同的key可能会有相同的值，就会产生hash冲突，这个时候就需要一定的方法来解决冲突，常见的有拉链法，红黑树等。但是不变的是 阅读全文

摘要： 3次握手的流程 开始客户端和服务端都处于 CLOSED 状态。 先是服务端主动监听某个端口，处于 LISTEN 状态。 客户端主动发起连接 SYN，之后处于 SYN-SENT 状态 服务端收到发起的连接，返回 SYN，并且 ACK 客户端的 SYN，之后处于 SYN-RCVD 状态。 客户端收到服务 阅读全文

摘要： RPC技术入门知识 什么是RPC？ 摘抄来自WIKI-RPC的一段解释，经过自己的理解翻译如下。 远程过程调用（remote procedure call）是指计算机程序执行一个在不同的地址空间（通常在共享网络的另一台计算机上）的程序或函数时，其编码方式就像是普通的（本地）函数调用一样，程序员无需为 阅读全文

摘要： 问题背景： 在公司的一个Node.js项目中，在async方法内部，需要调用另外一个async方法进行大文本的正则匹配（耗时非常久），之前以为只要是不添加await关键字，这个方法就可以自动的异步进行调用。但实际上，每当访问这个接口时，响应还是非常的缓慢。 Node的事件模型 如上图所示，每个请求到 阅读全文

摘要： [TOC] 原理图 鉴于网上很多资料一上来直接就开干了，这里我先把这几天所经历的理解化成一张图，以便后续内容更加容易理解。 由上图可以清晰的看到，只要我们再本地的Idea提交代码到GitHub远程仓库，随后Github触发一个web hook（ 简单来说就是一个Http请求 ）。随后Jenkins接 阅读全文

摘要： Cron表达式简介 Cron表达式全程Crontab表达式，是描述Crontab定时任务 执行周期 的一种语法格式。而Cron表达式严格上来说有许多特别的版本。如：Linux的、Spring的、Quartz框架等表达式，虽说它们总体上来说一类似的，但总会有一些语法的差异在里面。而本文要介绍的是基于 阅读全文