09 2020 档案
摘要：1.golang 官网下载很慢： 中科大镜像：http://mirrors.ustc.edu.cn/golang/ 2.go get 下载依赖很慢的问题: https://goproxy.io/zh/ 3.go mod 使用 1.创建文件:在目录下 使用 go mod init +模块名 2.启动项
阅读全文
摘要：分片键 分片算法 分片策略 SQL Hint 分片键 用于分片的数据库字段，是将数据库(表)水平拆分的关键字段。例：将订单表中的订单主键的尾数取模分片，则订单主键为分片字段。 SQL中如果无分片字段，将执行全路由，性能较差。 除了对单分片字段的支持，ShardingSphere也支持根据多个字段进行
阅读全文
摘要：逻辑表 水平拆分的数据库（表）的相同逻辑和数据结构表的总称。 例：订单数据根据主键尾数拆分为10张表，分别是t_order_0到t_order_9，他们的逻辑表名为t_order。 真实表 在分片的数据库中真实存在的物理表。即上个示例中的t_order_0到t_order_9。 数据节点 数据分片的
阅读全文
摘要：参考官方文档:http://shardingsphere.apache.org/ ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。 他们均
阅读全文
摘要：日常工作中写接口时,往往需要校验前端传来的枚举状态码,例如"1","2"等等, 这里使用java 303规范的参数校验框架封装一个自定义参数校验器: /** * @author: yq * @date: 2020/9/22 22:15 * @description 自定义参数校验注解,加在指定的需要
阅读全文
摘要：前提： 首先要铺垫几个前置的知识： Java中的锁如sychronize锁是对象锁，Java对象头中具有标识位，当对象锁升级为重量级锁时，重量级锁的标识位会指向监视器monitor， 而每个Java对象关联唯一的监视器monitor，因为该关系，Java对象可以做synchronize锁的锁对象，也
阅读全文
摘要：scrapy 分页爬取以及xapth使用小技巧 这里以爬取www.javaquan.com为例: 1.构建出下一页的url: 很显然通过dom树,可以发现下一页所在的a标签 2.使用scrapy的yield scrapy.Reqeust(next_url,callback=self.parse) 构
阅读全文
摘要：logging模块的使用: 1.在scrapy中使用 2.在普通项目中使用
阅读全文
摘要：Pipline: 1.爬虫项目与爬虫的区别与关联: 一个爬虫项目可以包含多个爬虫,如下图中爬虫项目firstspider 包含多个爬虫itcst 和爬虫itcast1 2.多个爬虫是公用一套Pipline组件的,在Pipline组件中如何区分不同的爬虫? 方法一: 在爬虫中使用自定义键,然后在一个p
阅读全文
摘要：原文参考 https://mp.weixin.qq.com/s/ptFBjWXj88fsI3Oh6PghRA 1. GitHub 镜像访问 这里提供两个最常用的镜像地址： https://github.com.cnpmjs.org https://hub.fastgit.org 也就是说上面的镜像就
阅读全文
摘要：安装scrapy模块 : pip install scrapy 创建scrapy项目 1.scrapy startprojecty 项目名称 注意:如果创建失败,可以先卸载原有的scrapy模块,使用pip3 intall scrapy 进行安装 2.生成一个爬虫 scrapy genspider
阅读全文
摘要：大致的流程如下 1.申请Https证书,绑定域名信息; 由于自己的服务器是腾讯云服务器, 这里就在腾讯云上申请SSL证书, 申请地址: https://console.cloud.tencent.com/ssl 点击申请免费的SSL证书,弹窗如下: 这里直接申请亚洲诚信的证书 点击确定,输入相关信息
阅读全文
摘要：1.Nginx常见的负载均衡策略 ip_hash (固定分发) 简介：根据请求按访问ip的hash结果分配，这样每个用户就可以固定访问一个后端服务器 场景：服务器业务分区、业务缓存、Session需要单点的情况 upstream lbs { ip_hash; server 192.168.159.1
阅读全文
摘要：springboot 版本: <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.5.RELEASE</versio
阅读全文
摘要：Nginx配置集群 负载均衡策略 一.安装环境 1.安装JDK8的环境,配置JDK8的环境变量 2.上传jar包demo-1.jar 和 demo-2.jar demo-1.jar 监听8080端口; demo-2.jar 监听8081端口; 接口说明: 其中;两个Springboot应用都有如下两
阅读全文
摘要：Nginx的目录结构: 默认的安装路径 : /usr/local/nginx 安装完成后,Nginx的目录结构如下: conf: #所有配置文件的目录 nginx.conf #默认的主要配置文件 nginx.conf.default #默认的文件配置, 也就是说我们可以通过这个模板创建创建真正的配置
阅读全文
摘要：本篇随笔接上一篇文章:Springboot整合Nacos配置中心(一),主要记录Nacos多环境的配置的方法 Nacos多环境的配置 方法一: 1.在项目中的bootstrap.yaml文件中配置激活指定的配置文件 spring: application: name: gabriel cloud:
阅读全文
摘要：Nginx环境搭建 系统环境: 腾讯云 Linux Centos7 1.下载nginx压缩包 ,上传到腾讯云服务器 http://nginx.org/en/download.html 或者使用docker拉去镜像去构建nginx容器 2.安装依赖 yum -y install gcc zlib zl
阅读全文
