09 2021 档案
摘要：elasticsearch-dump可以将es中索引的数据、mapping、setting等导出为json格式的文件，或者将相应的文件导入到其他索引中，使用比较灵活。本文将简单介绍docker环境下elasticsearch-dump的操作。 获取docker镜像 docker pull taskr
阅读全文
摘要：开发过程中，将springboot应用改为https请求后，普通的http请求会报错，原因是卡在证书认证了，添加了忽略认证的请求方式。 import java.util.Map; import okhttp3.*; import org.apache.logging.log4j.LogManager
阅读全文
摘要：/** * 判断当前时间是否在时间段内 * @param beginTimeStr 起始时间，格式应与format匹配 * @param endTimeStr 结束时间，格式应与format匹配 * @param format 时间格式，如HH:mm:ss * @return boolean */
阅读全文
摘要：功能描述 通过识别在实体类中自定义注解，来生成sql语句，目前支持mysql、sqlserver、oracle的建表语句和单条插入语句生成。 自定义注解类 自定义@Table注解 /** * 自定义注解@Table，定义表名等基础信息 * @author wangzg * @date 2021/6/
阅读全文
摘要：HashMap源码解读（java8） HashMap的默认设置 静态变量 /** * 初始容量，必须是2的n次幂，默认的初始容量是16 */ static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // aka 16 /** * 最大容量 */ sta
阅读全文
摘要：elasticsearch 笔记来源：【尚硅谷】ElasticSearch入门到精通2021最新教程（基于ELK技术栈elasticsearch 7.8.x版本）_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 1. 简介 1.1 Elasticsearch是什么 The Elastic Sta
阅读全文
摘要：Scrapyd && Logparser Scrapyd快速入门 简介： Github地址 官方文档 Scrapyd是用来运行scrapy爬虫的一个服务 特点：允许部署scrapy项目并且通过HTTP JSON的方式来控制爬虫 对scrapy的理解： scrapyd其实是一个服务器端的服务，真正部署
阅读全文
摘要：Scrapy scrapy架构图 图源网络，侵删 Scrapy主要组件： 引擎(Scrapy) 用来处理整个系统的数据流, 触发事务，是框架的核心 调度器(Scheduler) 用来接受引擎发过来的请求, 加入队列中, 并在引擎再次请求的时候返回. 即一个URL的优先队列, 由它来决定下一个要抓取的
阅读全文
摘要：一个操作elasticsearch的工具类，可实现增删改查以及较复杂的查询 pom文件引入依赖 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </dependency> <depen
阅读全文
摘要：开放单个端口 --permanent永久生效，没有此参数重启后失效。 firewall-cmd --zone=public --add-port=8080/tcp --permanent 重载规则 firewall-cmd --reload 开放多个端口 开放多个端口 firewall-cmd --
阅读全文
摘要：bug详情 在一次docker部署过程中，使用防火墙开放了新端口，然后docker创建的容器启动失败并报错 bug定位 ... bug说明 ... bug修复 关闭所有dockers容器，然后重启docker服务 systemctl restart docker
阅读全文
摘要：背景 docker容器在运行过程中会产生日志，日志的量跟具体的容器有关。 比如最近在工作中用到了selenium和scrapyd等容器，运行过程中产生的日志特别多，刚开始部署服务没在意日志的设定，一段时间后直接导致服务器磁盘存储占用达到100%，程序崩溃。 因此有必要对容器日志做出限制或定期清理等方
阅读全文
摘要：bug详情 docker安装的selenium_firefox,运行时报错 selenium selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page
阅读全文
摘要：随系统启动 设置docker开机启动 systemctl enable docker.service 设置容器自动启动 对于新容器，创建时添加参数 --restart=always 对于已创建容器，需要使用update命令 docker update --restart=always <容器名> 注
阅读全文
摘要：redis docker run -itd -p 26379:6379 --name redisbloom -e TZ="Asia/Shanghai" redislabs/rebloom:latest --appendonly yes --requirepass "123456" --loadmod
阅读全文
摘要：准备 本示例是基于centos镜像构建的，所以需要准备一个jdk安装包，这里我用的是jdk-8u201-linux-x64.tar.gz springboot打包后的jar包 springboot应用的配置文件，application.yml。这个文件是方便后面挂载出来用的。 编写Dockerfil
阅读全文
摘要：Docker 文档地址：https://docs.docker.com/ 仓库地址：https://hub.docker.com/ 笔记参考https://www.bilibili.com/video/BV1og4y1q7M4 Docker安装 Docker基本组成 镜像（image）： 相当于一个
阅读全文
摘要：bug详情 springboot项目，本地运行测试时没问题，打包部署到docker容器时报错，报错信息如下 Error starting ApplicationContext. To display the conditions report re-run your application with
阅读全文
