摘要：
公司有自动识别身份证的需求，于是就采用了腾讯云的OCR自动识别功能，由于对接过程中踩坑较多，于是就将对接的过程及示例整理出来，方便有这方面需求的同志 腾讯云OCR识别官方文档：https://cloud.tencent.com/document/product/1007/35920 对接主要分为以下 阅读全文
摘要：
人工部署 现在企业的部署方式主要分为，人工手动部署、蓝绿部署和专业的持续发布和持续集成。其中人工部署最为原始，该部署主要是由人工主导，在系统使用不高的时候进行停机部署。工作的第一家公司用的是这种方式进行系统的部署。这种部署没什么优点，就是有点费人，每当项目上线的时候，开发人员、测试人员都得熬到12点 阅读全文
摘要：
最近在做一个多线程的爬虫程序，由于队列中有重复的数据，尽管程序中有判断不存在则插入，但由于多个线程并发，导致数据库中存在部分重复的数据。 程序中的bug已经修复，但重新爬一遍耗时耗力，于是就选择删除重复的数据，只保留一条有效数据 解决的思路就是根据确定其数据唯一的聚合字段进行分组，然后只保留一条有效 阅读全文
摘要：
Jenkins是一款由java开发的持续集成的工具，能帮我们自动打包和部署 一.安装 1.下载docker镜像 docker pull jenkins/jenkins 2.在宿主机上创建jenkins_home文件，用来挂载容器中对应的目录。 mkdir /mnt/jenkins_home 创建完对 阅读全文
摘要：
Swap分区也称为交换分区，操作系统可以在这里存一些内存中放不下的东西，跟windows系统中的虚拟内存类似。设置Swap分区可以缓解内存不足的问题 1.创建指定大小的文件用于分区 fallocate -l 1G /swap #分配1G 2.设置文件权限确保只有root能用 chmod 600 /s 阅读全文
摘要：
一.关闭docke服务 systemctl stop docker 二.修改容器对应的配置 docker容器地址：/var/lib/docker/containers/{容器Id} vim /var/lib/docker/containers/34907801cd14d61/config.v2.js 阅读全文
摘要：
对于python多线程爬虫，使用multiprocessing能有效的帮我们实现多线程的任务,如以下代码所示，这段代码看似没有什么毛病，但真正执行起来时，有时程序能正常的退出，但大多数情况下是不能正常的退出，程序一直处于阻塞的状态 def Producer(in_q,url,type): respo 阅读全文
摘要：
Ik分词器能有效的帮助我们对词语进行各种方式的拆分，还可以根据自定义设置完成对词语的拆分，是搜索引擎不可或缺的一部分。接下来就详细的介绍一下Ik分词器的配置过程 1.在github上查看Ik分词器的版本 https://github.com/medcl/elasticsearch-analysis- 阅读全文
摘要：
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch(一般为集群) 阅读全文
摘要：
1.拉取镜像（要与Es的版本对应） docker pull kibana:7.13.2 2.运行容器 docker run -d --name kibana -p 5601:5601 kibana:7.13.2 3.查看logs docker logs -f kibana 根据日志可以看到kiban 阅读全文