10 2019 档案
摘要：大家都知道最近阿里云服务器很便宜火爆，于是小编也入手了一台3年的，配置：1核2G内存，40G硬盘。 今年比去年便宜，10.24~11.11购买是1年86元，3年229元，打开以下链接参与，也可以扫描文末的海报二维码，或点击文末阅读原文 "点我参与哦哦哦哦哦哦哦哦哦哦哦哦哦哦哦哦哦哦哦哦哦哦哦哦" 买
阅读全文
摘要：kubernetes版本：1.13.2 接两节： "kubernetes垃圾回收器GarbageCollector Controller源码分析（一）" "kubernetes垃圾回收器GarbageCollector Controller源码分析（二）" 主要步骤 GarbageCollector
阅读全文
摘要：kubernetes自定义资源对象再极大程度提高了API Server的可扩展性，让企业能够根据业务需求通过CRD编写controller或者operator来实现生产中各种特殊场景。随着k8s的版本升级，CRD的功能也越来越完善，下面对其中几点进行说明。 以下验证kubernetes版本为1.13
阅读全文
摘要：本文首发于微信公众号“我的小碗汤”，扫码文末二维码即可关注，欢迎一起交流！ redis在容器化的过程中，涉及到纵向扩pod实例cpu、内存以及redis实例的maxmemory值，statefulset管理的pod需要重启。所以把redis集群的状态检查放到了健康检查中，依赖statefulset的
阅读全文
摘要：正文 kube apiserver 对外暴露了Kubernetes API。它是的 Kubernetes 核心控制层。它被设计为水平扩展，即通过部署更多实例来横向扩展。API Server 负责和 etcd 交互（其他组件不会直接操作 etcd，只有 API Server 这么做），是整个 kube
阅读全文
摘要：正文 Kubernetes 自带了一个默认调度器kube scheduler，其内置了很多节点预选和优选的调度算法，一般调度场景下可以满足要求。但是在一些特殊场景下，默认调度器不能满足我们复杂的调度需求。我们就需要对调度器进行扩展，以达到调度适合业务场景的目的。 背景 中间件redis容器化后，需要
阅读全文
摘要：正文 Operator 是 CoreOS 推出的旨在简化复杂有状态应用管理，它是一个感知应用状态的控制器，通过扩展 Kubernetes API 来自动创建、管理和配置应用实例。 Operator 基于 CRD 扩展资源对象，并通过控制器来保证应用处于预期状态。 通过 Kubernetes API
阅读全文
摘要：正文 一般生产环境上由于网络安全策略，大多数端口是不能为集群外部访问的。多个集群之间一般都是通过k8s的ApiServer组件提供的接口通信，如https://192.168.1.101:6443。所以在做云平台时，集群管理平台（雅称：观云台）需要操作其他集群的资源对象时，必然也得通过ApiServ
阅读全文
摘要：正文 最近在做一个需求开发：根据请求后的不同，nginx将请求分发到不同的后端服务；需要修改kubernetes的ingress nginx controller的源码，调试的时候遇到了挺多问题，写出来，有需要的老铁可以参考。具体方案就不说了，只说一下nginx配置这一块。 首先贴出组件版本： in
阅读全文
摘要：正文 这几篇文章写的就挺好了，传送过去看看吧： 1、 "使用JavaMail创建邮件和发送邮件" 可能遇到的问题： 1、因为端口号问题导致的错误： 问题和解决这里可以看到，把port configuration from 465 to 587(把端口从465改成587) https://stacko
阅读全文
摘要：最近做了一个监测k8s服务pod水平伸缩发送邮件的功能（当pod的cpu/内存达到指定阈值后会水平扩展出多个pod、或者指定时间内pod数应扩展到指定数量），一开始写了个格式很low的邮件，像下面这样： 主流程打通，算个v1版本吧，程序员是个追求完美的人，再说这么低逼格的邮件，给客户看，客户也会不满
阅读全文
摘要：正文 报错： nginx: [error] CreateFile() "./logs/nginx.pid" failed (2: The system cannot find the file specified) 博主在执行了nginx s stop后，再次启动nginx时报错： 这个坑主要原因就
阅读全文
摘要：正文 mysql数据导出为excel文件，golang实现： 首先下载依赖到的三方库： Simple install the package to your "$GOPATH" with the "go tool" from shell: 具体说明请看： "库地址" "wiki说明" 代码示例如下，
阅读全文
摘要：正文 MySQL在5.7.8开始对json原生支持，本文将对MySQL中json类型的用法简单说明，希望对你有用。 sql CREATE TABLE testproject ( int(10) unsigned NOT NULL AUTO_INCREMENT, JSON NOT NULL, JSON
阅读全文
摘要：正文 1、 设置WriteHeader的顺序问题 之前遇到个问题，在一段代码中这样设置WriteHeader,最后在header中取Name时怎么也取不到。 用 golang 写 http server 时，可以很方便可通过 w.Header.Set(k, v) 来设置 http response
阅读全文
摘要：正文 今天来试着用SpringMVC发送邮件，主要需要依赖以下两个包； spring mail.xml配置文件如下： 这里加载了发送邮件相关的配置文件email.properties： 发送简单邮件代码： 跑单元测试的时候报：Could not resolve placeholder异常，不可以解析
阅读全文
摘要：正文 今天来用java实现手机验证码的发送。 短信平台有很多，中国网建提供的SMS短信通，注册免费5条短信，3条彩信， http://sms.webchinese.cn/ 但是刚才试了，第一次用官方提供的demo发送成功，然后整合到自己项目中，调试时由于参数配置错误导致发送了几次失败后，5次就用完了
阅读全文
摘要：正文 今天来学习下图形验证码的生成，首先依赖开源组件： 在web.xml中配置名为Kaptcha的servlet： html中添加验证码标签，并绑定javascript事件： 效果图： 本公众号 免费 提供csdn下载服务，海量IT学习资源， 如果你准备入IT坑，励志成为优秀的程序猿，那么这些资源很
阅读全文
摘要：今天在tomcat里部署运行了一个小工程，工程结构如下： 运行tomcat服务器后，访问index.html，发现报404： 但是后台接口是正常返回的： 去看webapps里工程目录下，index.html文件是有的，见鬼了，是哪儿出了问题？ 然后看到控制台日志（或者tomcat_home/logs
阅读全文
摘要：正文 今天利用java发邮件，本地windows上测试时发送ok的，部署到服务器上却报异常，让我们走进异常，探索到底坑在哪里，并填之。 利用outlook发邮件代码如下： 上面的代码打包在本地tomcat上运行，可以发送邮件成功。但是将war包部署到亚马逊云服务器上发送邮件报错： 网上说是由于用户名
阅读全文
摘要：正文 我们来用java代码爬取csdn博客网站，然后自动评论，这一波操作可以说是相当风骚了，话不多说，咱上代码。 第一步是登录代码，这个网上一大把，代码中用到了jsoup依赖包，用于解析html获取相应元素，相当于css选择器，很强大的三方件。 有了登录代码我们还得获取博客文章列表，这是我们爬取的源
阅读全文
摘要：正文 Ditto 是一款开源、免费、强大的剪贴板增强工具。可以把复制过的所有内容保存起来（可以设定保存日期或条目总数），快捷地供后续调用。还可以合并粘贴，纯文本粘贴，支持分组、置顶、快速搜索、热键粘贴功能。并且，还可以通过网络共享剪贴板内容。 平常情况下，Ditto只是系统托盘中的图标。按下热键（默
阅读全文
摘要：正文 1、 通过util包中的ResourceBundle加载： 首先国际化资源文件放在了classpath下的i18n目录下： mymessage_en_US.properties： mymessage_en_US.properties： 利用ResourceBundle加载国际化文件，这里列出四
阅读全文
摘要：正文 今天首先来看个问题，用原生servlet实现的接口，大家看下控制台输出结果是什么？ web.xml如下： SonServlet.java如下： ParentServlet.java如下： 启动tomcat，用postman发请求： 控制台会输出什么呢？答案是： 我相信很多小伙伴应该会答错，以为
阅读全文
摘要：正文 大家在使用mysql过程中，可能会遇到类似以下的问题： 模糊匹配 jg%，结果以JG开头的字符串也出现在结果集中，大家很自然的认为是大小写敏感的问题。那么mysql中大小写敏感是如何控制的；数据库名，表名，字段名这些字典对象以及字段值的大小敏感是如何控制的；以及校验规则与索引的关系，这是本文要
阅读全文
摘要：正文 日志的转储和压缩是非常关键的，它不仅可以减少硬盘空间占用，主要还可以在发生故障时根据日志定位出故障原因。下面来看看golang和java的文件转储实现。 go语言： 用到了filepath包下的Walk方法，具体说明可以参看历史文章： "go语言path/filepath包之Walk源码解析"
阅读全文
摘要：正文 Markdown 其实向来是文字爱好者和码农们的小众需求，市面上也涌现出了形形色色的 Markdown 编辑器，Mou、Typed、Ulysess、Macdown、简书、有道云等，这些比较流行的 Markdown 编辑器，都基本采用了「写字」和「预览」相分离的策略。 Typora的设计理念就是
阅读全文
摘要：正文 今天来看三件事： 1、beego的两个重要参数： beego.BConfig.CopyRequestBody： 是否允许在HTTP请求时，返回原始请求体数据字节，默认为false（GET or HEAD or 上传文件请求除外）。 beego.BConfig.CopyRequestBody =
阅读全文
摘要：正文 日志相关包 slf4j打印日志必须的三个依赖包 slf4j假设使用log4j做为底层日志工具，运行以上程序需要三个包： log4j 1.2.xx.jar、 slf4j api x.x.x.jar、 slf4j log4j12 x.x.x.jar log4j.properties文件配置： we
阅读全文
摘要：正文 安装MySql镜像 例如： 启动MySql容器 例如： 从host连接上述启动的container 例如： 如果可以进入mysql命令终端，则表示一切安装配置成功。 如果要用远程用Navicat连接mysql： 创建honey用户，密码也为honey 查看用户honey的权限 创建数据库，ho
阅读全文
摘要：正文 子类 调用 父类的构造函数：（构造函数不会被继承，只是被子类调用而已） 1、子类所有的 构造函数 默认调用父类的无参构造函数（其实是默认省略掉了一行代码：super();）;省略掉的这行super()代码可以自行添加到构造函数的第一行（必须是第一行，否则报错） 2、如果父类没有定义构造函数，系
阅读全文
摘要：正文 要求在页面查询到5000条数据，为了方便插入，用shell脚本写curl命令调用自己写的代码接口； 脚本如下： shell !/bin/bash a=0 while [ $a le 10 ]; do length of ts is 13 required,Through
阅读全文
摘要：正文 安装go后，我们一般会设置好GOROOT和GOPATH环境变量，但是有时候因为实际工作中项目结构复杂，设置的GOPATH不能满足需要时，可以在cmd设置临时的GOPATH；很多IDE，比如IDEA也可以设置全局的GOPATH和临时的GOPATH，但是编译可执行文件可能有些复杂或者通过IDE编译
阅读全文
摘要：正文 1. VM8 使用固定IP： 2. 这里使用NAT模式： 3. VM中依次：编辑—— 虚拟网络编辑器，点VMnet8 把使用本 地DHCP的勾去掉，子网IP和主机VM8的IP同网段，然后点NAT设置。 网关IP和刚才的IP也是同一个网段。 4. vim
阅读全文
摘要：在配置yum前首先得说说rpm，在redhat和centos linux系统上，rpm作为软件包管理工具，可以方便的安装、查询、卸载软件包。常见命令如下： 但是在多个包组成的rpm包用rpm命令安装时，其依赖包问题是超级繁琐的。 yum是redhat和centos的软件包管理工具，安装软件包时可以在
阅读全文
摘要：以前的电脑上安装过vmware+redhat，但是奈何电脑太老，配置太低，打开的时候超级卡，没法用。换了电脑后，再装上玩玩，故此记录一下安装过程。需要安装的小伙伴可以在此获取包然后按此步骤安装。 1、创建新的虚拟机 自定义安装 2、选择虚拟机兼容版本，选择最高的就好 3、选择安装系统的方式，我们选择
阅读全文
摘要：之前也有写过有关于爬虫的实战练习： "go语言爬取珍爱网" 当时爬取时当并发过大的时候，请求就会出现卡死的情况。其实这可能就是珍爱网对请求和连接进行了限制。 爬虫和反爬是个“一边攻，一边守”的技术，但我们亲爱的爬虫工程师们也一直遵守着“只攻不破”的原则。网站服务器对爬虫一直在做限制，避免服务器流量异
阅读全文
摘要：1、 stub_status模块： 用于展示nginx处理连接时的状态。 配置语法如下： 可以编辑default.conf，加上如下配置： 然后检查配置的正确性： 这里注意了，虽然修改的是default.conf，但是检查的时候始终还是加载nginx.conf，否则报错： 因为nginx.conf中
阅读全文
摘要：中间件位于客户机/ 服务器的操作系统之上，管理计算机资源和网络通讯。 是连接两个独立应用程序或独立系统的软件。 web请求通过中间件可以直接调用操作系统，也可以经过中间件把请求分发到多个应用上进行逻辑处理。 因为有了中间件，使得大型网站在规划有了更好的层次性，维护上更加方便。也可以实现负载均衡、安全
阅读全文
摘要：以下测试在elasticsearch5.6.10版本。 首先要说明的是ElasticSearch从2.x开始就已经不支持删除一个type了，所以使用delete命令想要尝试删除一个type的时候会出现如下错误： 测试 假如存在一个名为dating_profile的index和zhenai的type：
阅读全文
摘要：公有仓库和私有仓库： 速度： 公有仓库走的公网，速度较慢；私有仓库走的是内网，即局域网； 安全性： 公有仓库存放在公共硬盘上；私有仓库存在自己服务器硬盘上。 公有仓： 最权威的，但速度比较慢： https://hub.docker.com/ 首先登陆： 打标签，push镜像到hub仓库： 已push
阅读全文
摘要：Kubernetes 审计功能提供了与安全相关的按时间顺序排列的记录集，记录单个用户、管理员或系统其他组件影响系统的活动顺序。它能帮助集群管理员处理以下问题： 发生了什么？ 什么时候发生的？ 谁触发的？ 为什么发生？ 在哪观察到的？ 它从哪触发的？ 它将产生什么后果？ Kube apiserver
阅读全文
摘要：Json Web Token (JWT)，是一个非常轻巧的规范，这个规范允许在网络应用环境间客户端和服务器间较安全的传递信息。该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源
阅读全文
摘要：小强最近在项目中遇到了一个很奇怪的问题：在整改日志规范时，为了避免影响现有的代码结构以及改动尽可能小的前提下，在调用记日志的SDK处将某一个字段值首字母改为大写，代码示例如下： 项目中这里的a变量其实是作为参数传入，只是可能为空串。a变量不为空串时，这样写肯定没问题。但是当为空串时，即""时，就会出
阅读全文
摘要：平时编写代码过程中，经常会遇到对于全局角度只需运行一次的代码，比如全局初始化操作，设计模式中的单例模式。针对单例模式， java 中又出现了饿汉模式、懒汉模式，再配合 synchronized 同步关键字来实现。其目的无非就是将对象只初始化一次，而且最好保证在用到的时候再进行初始化，以避免初始化太早
阅读全文
摘要：在开始环境搭建之前，我们先一起来看看： Go有什么优势： 不用虚拟机，它可直接编译成机器码，除了glibc外没有其他外部依赖，部署十分方便，就是扔一个文件就完成了。 天生支持并发，可以充分的利用多核，很容易实现并发。 25个关键字，但是表达能力很强大，几乎支持大多数你在其他语言见过的特性：继承、重载
阅读全文
摘要：我们前两节课爬取珍爱网的时候，用到了很多正则表达式去匹配城市列表、城市、用户信息，其实除了正则表达式去匹配，还可以利用goquery和xpath第三方库匹配有用信息。而我利用了更优雅的正则表达式匹配。下来大概介绍下正则表达式。 比如我们匹配城市列表的时候，会取匹配所有城市的url，如下： 可以看到图
阅读全文
摘要：golang爬取珍爱网，爬到了3万多用户信息，并存到了elasticsearch中，如下图，查询到了3万多用户信息。 先来看看最终效果： 利用到了go语言的html模板库： 执行模板渲染： model.SearchResult数据结构如下： html <!DOCTYPE html Love Sear
阅读全文
摘要：golang爬珍爱网代码优化后，运行报了如下的错，找了半小时才找到原因，在此记录一下。 代码是这样的： 有一个interface类型的Parser： 有一个struct类型的FuncParser： FuncParser 实现了Parser 接口： 抛开爬虫代码整体的复杂度，将代码简化到如下这样： 同
阅读全文
摘要：前两天我们写了单任务版爬虫爬取了珍爱网用户信息，那么它的性能如何呢？ 我们可以通过网络利用率看一下，我们用任务管理器中的性能分析窗口可以看到下载速率大概是保持在了200kbps左右，这可以说是相当慢了。 我们针对来通过分析单任务版爬虫的设计来看下： 从上图我们可以看出，engine将request从
阅读全文
摘要：前两节我们获取到了城市的URL和城市名，今天我们来解析用户信息。 "用go语言爬取珍爱网 | 第一回" "用go语言爬取珍爱网 | 第二回" 爬虫的算法： 我们要提取返回体中的城市列表，需要用到城市列表解析器； 需要把每个城市里的所有用户解析出来，需要用到城市解析器； 还需要把每个用户的个人信息解析
阅读全文
摘要：昨天我们一起爬取珍爱网首页，拿到了城市列表页面，接下来在返回体城市列表中提取城市和url，即下图中的a标签里的href的值和innerText值。 提取a标签，可以通过CSS选择器来选择，如下： $(' cityList dd a');就可以获取到470个a标签： 这里只提供一个思路，go语言标准库
阅读全文
摘要：我们来用go语言爬取“珍爱网”用户信息。 首先分析到请求url为： http://www.zhenai.com/zhenghun 接下来用go请求该url，代码如下： 运行后会发现返回体里有很多乱码： 在返回体里可以找到 即编码为gbk，而go默认编码为utf 8，所以就会出现乱码。接下来用第三方库
阅读全文
摘要：上一节我们在虚拟机上搭建了linux系统，并利用桥接模式访问互联网，这一节，我们来配置一下通过NAT模式访问互联网。说到这里有些小伙伴可能要问了，NAT模式和桥接模式有什么区别呢？ 桥接模式： 虚拟机虚拟出来的系统和局域网内的独立主机属于同等地位，它可以访问局域网内任何一台机器，该模式下，我们得为虚
阅读全文
摘要：今天来推荐一个超级好用的命令行工具：cmder 一款Windows环境下非常简洁美观易用的cmd替代者，它支持了大部分的Linux命令。支持ssh连接linux，使用起来非常方便。比起cmd、powershell、conEmu，其界面美观简洁，功能强大。下面来看看效果： 上面演示了linux下的ls
阅读全文
摘要：前段时间有群友在群里问一个go语言的问题： 就是有一个main.go的main函数里调用了另一个demo.go里的hello()函数。其中main.go和hello.go同属于main包。但是在main.go的目录下执行go run main.go却报hello函数没有定义的错： 代码结构如下： m
阅读全文
摘要：今天来在LAMP环境下搭建一个PHP项目，开始之前，先来普及下物联网常识： 物联网，即Internet of Things，简写IOT。让所有能行使独立功能的普通物体实现互联互通的网络，通过物联网可以用中心计算机对机器、设备、人员进行集中管理、控制，实现物物相连。近几年物联网在运输、物流、健康医疗、
阅读全文
摘要：B哥最近在参加比赛，需要把一个php项目部署到服务器上，故此在linux上安装LAMP环境，用于部署项目，第一次安装，做点儿笔记记录一下。 安装条件： Redhat或者CentOS linux环境已装好，并配置了yum源。 用yum安装httpd、mariadb、php 安装httpd： 安装mar
阅读全文
摘要：readmore来源于：https://openwrite.cn/openwrite/openwrite readmore/ 博客园接入 readmore 很简单，三步走，2 分钟搞定！ 1. 在 OpenWrite 生成 readmore 脚本 2. 微信公众号设置关键词回复 3. 在博客园设置中
阅读全文
摘要：在Kubernetes中，服务和Pod的IP地址仅可以在集群网络内部使用，对于集群外的应用是不可见的。为了使外部的应用能够访问集群内的服务，在Kubernetes 目前 提供了以下几种方案： NodePort LoadBalancer Ingress 本节主要就ingress和ingress控制器i
阅读全文
摘要：正文 要求在页面查询到5000条数据，为了方便插入，准备用shell脚本写curl命令调用自己写的代码接口，但是速度慢，而且写的时候遇到点儿小问题，故用sql语句写了这个功能 由于operationlog表中的ts字段为13位的时间戳，所以采用了截取的
阅读全文
摘要：今天在Ucloud国际版的机器上配置某个不可描述的服务时，遇到了 socket.error: [Errno 99] Cannot assign requested address 的错误，详细如下： 原先以为是resolver的问题，但是指定了Google的nameservers仍然无解，于是想到可
阅读全文
摘要：Kubernetes 中使用 Job 和 CronJob 两个资源分别提供了一次性任务和定时任务的特性，这两种对象也使用控制器模型来实现资源的管理，我们在这篇文章来介绍Job执行如果失败了会怎么样呢？ 修改job fail.yaml，故意引入一个错误： Never 如果将 设置为 会怎么样？下面我们
阅读全文
摘要：正文 前几天，在ucloud上搭建的k8s集群（搭建教程后续会发出）。今天发现域名解析不了。 组件版本：k8s 1.15.0，coredns：1.3.1 过程是这样的： 首先用以下yaml文件创建了一个nginx服务 创建好之后： 因只部署了一个master节点。在master宿主机上直接执行以下命
阅读全文
摘要：本文首发于公众号【我的小碗汤】扫描文末二维码关注，一起交流学习 在云平台开发、中间件容器化时，经常会遇到批量删除k8s资源对象的需求，下面记录一下kubectl和golang发送删除pvc、pv、pod请求的例子，便于后续学习查阅 kubectl发送删除请求 根据label批量删除pod： 根据la
阅读全文
摘要：正文 Docker常用命令 run e设置环境变量； e username=zhj name为容器指定一个名称； name=zhj p指定端口映射，格式为：主机(宿主)端口:容器端口 p 80:8080 t为容器重新分配一个伪输入终端，通常与 i 同时使用； i以交互模式运行容器，通常与 t 同时使
阅读全文
摘要：正文 使用过docker的都知道dockerfile，其用于定义制作镜像的流程，由一系列命令和参数构成的脚本，这些命令应用于基础镜像并最终创建一个新的镜像。可参考往期文章学习： "docker基础知识整理" 有时候，我们想在原有镜像基础上修改、增加文件，由于国内网络原因，重新制作镜像会很慢，甚至失败
阅读全文
摘要：kubernetes版本：1.13.2 背景 由于operator创建的redis集群，在kubernetes apiserver重启后，redis集群被异常删除（包括redis exporter statefulset、redis statefulset）。删除后operator将其重建，重新组建
阅读全文
摘要：几个月前我也开始在csdn上开了博客，一来给自己加几个少的可怜的流量，再者，让公众号的原创文章获得更多的曝光，让有需要的同学看到。 写过csdn博客的同学都知道，默认只有打赏c币功能；也没有专门广告位；引导栏目，只有侧栏csdn自己的引导二维码。 如何在csdn自定义栏目，加赞赏功能，或者其他等引导
阅读全文
摘要：几个月前我也开始在csdn上开了博客，一来给自己加几个少的可怜的流量，再者，让公众号的原创文章获得更多的曝光，让有需要的同学看到。 写过csdn博客的同学都知道，默认只有打赏c币功能；也没有专门广告位；引导栏目，只有侧栏csdn自己的引导二维码。 如何在csdn自定义栏目，加赞赏功能，或者其他等引导
阅读全文
摘要：kubernetes版本：1.13.2 接上一节： "kubernetes垃圾回收器GarbageCollector Controller源码分析（一）" 主要步骤 GarbageCollector Controller源码主要分为以下几部分： 1. 作为生产者将变化的资源放入 队列；同时 定期检测
阅读全文
