摘要:
背景 公司群里,运维发现一个问题,task服务报错(如下) 测试老大看到了,根据经验就推测是应该是文件句柄使用完了,应该有TCP连接很多没释放,果真发现是很多CLOSE_WAIT的状态 简单认知 短链接,一次链接就会占用一个端口,一个端口就是一个文件描述符;文件描述符 又称 句柄,linux系统最大 阅读全文
摘要:
认识beanstalkd 背景 公司业务做某个需求是将数据写入到消息队列中,然后另外一个服务来消费数据,这里的消息队列使用的是beastalkd,之前接触到的消息队列为kafka,因此简单学习记录一下, 本文重点是beanstalkd数据的查看操作和简单的理解 介绍 官网 "https://bean 阅读全文
摘要:
背景 业务说明 接到一个业务需求,往DB表中某个字段里新增一些数据,该字段本来是text类型,发现根据业务需求来说,新增数据超过text类型的最大长度,因此需要对数据库表的该字段类型做变更,变更为了MEDIUMTEXT类型来解决业务需求; 数据流转 DB表的数据会通过数据处理转化到mongo中存储, 阅读全文
摘要:
mysql 类型自动化转换问题 背景 有个业务需求,使用到find_in_set函数,简单贴下,如下: 无意间发现了一个这样的问题,ad _type为text类型,具体表数据如下: 执行了语句如下: 顿时三观崩了,什么情况,怎么回匹配到第一个数字呢? 解惑 询问了一个朋友,他给了一个方向,mysql 阅读全文
摘要:
背景 linux上发起http请求 使用方法 # get请求 curl "http://jwen.me/" # 获取返回的信息头 curl -i "http://jwen.me/" # post请求 curl -X POST -d "name=jwen&age=29" "http://jwen.me 阅读全文
摘要:
背景 想使用api的方式去访问公司内部azkaban平台,https站点,azkaban的官方api文档使用的curl语句,如下: curl -k -X POST --data "action=login&username=azkaban&password=azkaban" https://loca 阅读全文
摘要:
基本概念 map-reduce1.0 例子: hadoop streaming -input <path> 输入数据路径 -output <path> 输出数据路径 -mapper <cmd|JavaClassName> mapper可执行程序或Java类 -reducer <cmd|JavaCla 阅读全文
摘要:
背景 python执行操作系统的命令,如python执行shell命令 subprocess模块主要用于创建子进程,并连接它们的输入、输出和错误管道,获取它们的返回状态。通俗地说就是通过这个模块,你可以在Python的代码里执行操作系统级别的命令,比如“ipconfig”、“du -sh”等等。 操 阅读全文
摘要:
1. 核心概念说明 http://dockone.io/article/932 https://www.centos.bz/2017/08/k8s-kubernetes-architecture-diagram/ https://blog.csdn.net/panjianlongWUHAN/arti 阅读全文
摘要:
What Nginx是一款轻量级的Web服务器、反向代理服务器,由于它的内存占用少,启动极快,高并发能力强,在互联网项目中广泛应用。 反向代理 当我们在外网访问百度的时候,其实会进行一个转发,代理到内网去,这就是所谓的反向代理,即反向代理“代理”的是服务器端,而且这一个过程对于客户端而言是透明的。 阅读全文
摘要:
背景 source命令,之前一直用来加载环境变量的,source一下然后执行某个sh,使其环境变量生效,但对细节没有追究; 今天在看公司一个sh脚本的时候发现有个sh只有source命令,按照之前的理解source命令并没有执行的过程呀,难道一个source也可以执行命令吗? 过程 百度/googl 阅读全文
摘要:
背景 go项目,使用glide install命令去下载安装依赖,依赖中有个github.com/hashicorp/consul 问题描述 一直无法下载安装依赖成功,报错如下: [ERROR] Export failed for github.com/hashicorp/consul: Unabl 阅读全文
摘要:
# 背景 自动化测试框架中model层下有很多类,用来操作mysql的,使用的时候需要把全部的类加载进来,需要使用到动态加载类 # 解决方法 使用pkgutil,内置的方法,常用的话有两个方法 iter_modules(path=None, prefix='') Yields (module_loa 阅读全文
摘要:
# 背景 新公司,对换工作了!接口自动化使用的是python的behave框架,因此需要折腾python了,而公司配的笔记本是windows的,因此要在windows下折腾python了 # 步骤 项目中使用的setup.py文件来管理依赖的,通过ide直接安装依赖的时候提供mysql-python 阅读全文
摘要:
背景 读取配置是基础能力,研发这个模式不错,可以从不同配置中读取数据,如下图: 可以根据不同分类的文件来管理配置,然后统一在conf中配置哪些文件 阅读全文