摘要： 用 Scrapy 做好的爬虫使用 Scrapyd 来管理发布启动等工作，每次手动执行也很繁琐;考虑可以使用 Hangfire 集成在 web 工程里。 Scrapyd 中启动爬虫的请求如下: curl http://172.0.0.1:8081/schedule.json -d project=spider -d spider=jrj_spider -u name:pwd {"node_name... 阅读全文

摘要： 使用 UDP 协议发送日志 graylog2-server 服务端格式化日志再存储 Ubuntu 安装服务端 sudo apt-get update && sudo apt-get upgradesudo apt-get install apt-transport-https openjdk-8-j 阅读全文

摘要： nginx 的 location与配置中 location 顺序没有关系，与 location 表达式的类型有关。相同类型的表达式，字符串长的会优先匹配。 以下是按优先级排列说明： 等号类型（=）的优先级最高。一旦匹配成功，则不再查找其他匹配项。 ^~类型表达式。一旦匹配成功，则不再查找其他匹配项。 正则表达式类型（~ ~*）的优先级次之。如果有多个location的正则能匹配的话，则使用正... 阅读全文

摘要： 微服务 是一种架构模式，跟具体的语言实现无关，微服务架构将业务逻辑分散到了各个服务当中，服务间通过网络层进行通信共同协作；这样一个应用就可以划分为多个服务单独来维护发布。构建一个可靠微服务系统是需要具体看场景去衡量的，网络通信必然会带来过多的网络延迟，设计的时候就要尽量减少服务与服务间的通信，采用什么通信协议等。和单应用架构不同，微服务架构是由一系列职责单一的细粒度服务构成的分布式网状结构，服务之... 阅读全文

摘要： 今天打算整理一下 Spring Boot 的基础篇,这系列的文章是我业余时间来写的，起源于之前对微服务比较感兴趣，微服务的范畴比较广包括服务治理、负载均衡、断路器、配置中心、API网关等,还需要结合 docker,K8s 等一套新的容器技术。后面就了解 Spring Boot 与 Spring Cloud ,主要是因为相对其他技术平台生态与成熟性都比较完善，站在巨人的肩膀上嘛; 文章都是想到哪个主... 阅读全文

摘要： 对于软件系统而言，持久化数据到数据库是至关重要的一部分。在 Java 领域，有很多的实现了数据持久化层的工具和框架（ORM）。ORM 框架的本质是简化编程中操作数据库的繁琐性，比如可以根据对象生成 SQL 的 Hibernate ,后面 Hibernate 也实现了JPA 的规范，使用 JPA 的方 阅读全文

摘要： 默认静态资源映射目录 默认映射路径 在平常的 web 开发中，避免不了需要访问静态资源，如常规的样式,JS,图片，上传文件等;Spring Boot 默认配置对静态资源映射提供了如下路径的映射 /static (or /public or /resources or /META-INF/resources) ,如下: /META-INF/resources/ classpath:/resource... 阅读全文

摘要： MAVEN 配置 IDEA 配置 CTRL + SHIFT + A 查找 勾选 make project automatically 选项(File-Settings-Compiler-Build Project automatically) ctrl+shift+alt+/ 查找Registry 阅读全文

摘要： 在 ASP.NET WebAPI 集成 Swagger 后，由于接口使用了 IdentityServer 做的认证，调试起来很不方便；看了下 Swashbuckle 的文档 ，是支持 OAuth2.0 的配置的，使用的简化模式（Implicit grant type），交互的流程如下： Implic 阅读全文

摘要： ES 5.X 版本后就不支持 elasticsearch-head 以插件方式来安装了。 for Elasticsearch 5.x: site plugins are not supported. Run as a standalone server for Elasticsearch 2.x: 阅读全文

摘要： 基本属性 在做一些数据分析的时候，我们通常会把数据存为矩阵的形式，然后python本身对于矩阵的操作是不够的，因此出现了numpy这样一个科学开发库来进行python在次上面的不足。 Numpy's array 类被称为ndarray。 这个对象常用而重要的属性如下： ndarray.ndim： 输 阅读全文

摘要： 在搭建 IdentityServer 服务端后，我们尝试使用了 OIDC(OpenID Connect) 的中间件来代替了原先的 Session 系统认证方式，起初采用的是 HTTP 协议，一切都没有什么问题，最近启用全站 HTTPS 后，发现登陆会跳转到 HTTP的页面， OpenID Conne 阅读全文

摘要： Docker基础概念 在使用Docker之前，我们先了解下几个Docker的核心概念 Docker Daemon Docker引擎，就是运行在后台的一个守护进程，在我们启动它之后，我们就可以通过Docker客户端发送相关Docker的命令。 Docker Images Docker镜像，这个就类似于我们在安装Windows时的镜像，只不过windows的镜像，在以前我们通常存在光盘上或者U盘里，这... 阅读全文

摘要： Exceptionless 是一个可以对 ASP.NET Core, ASP.NET MVC，WebAPI, WebForms, WPF, Console 应用提供系统的日志，错误监控、报表等服务实时日志收集框架 。具体介绍：http://www.cnblogs.com/savorboard/p/e 阅读全文

摘要： Hangfire 官方支持 MSSQL 与 Redis(Hangfire.Pro.Redis) 两种 ，由于我的数据库是 MYSQL ，粗略查询了一下文档，现在对 .NET Core 支持的并不够好，所有就选择了 Redis;当然也可以使用第三方来支持 PostgreSql,Mongo等 安装 Re 阅读全文

摘要： WebSocket 是 HTML5 下一种新的协议。它实现了浏览器与服务器全双工通信，能更好的节省服务器资源和带宽并达到实时通讯的目的。它与HTTP一样通过已建立的TCP连接来传输数据，但是它和HTTP最大不同是: WebSocket是一种双向通信协议。在建立连接后，WebSocket服务器端和客户 阅读全文

摘要： 环境：Ubuntu Xenial (16.04) Scrapy 是一个不错的爬虫框架，但是不支持定时执行，常规的做法是使用 crontab 的方式进行定时执行 shell ，当爬虫数量多的时候，管理起来就非常麻烦，总是一个scrapy project 做一个deploy，很不方便 ，Google 了 阅读全文

摘要： 环境：Ubuntu Xenial (16.04) ！！！ CentOS 参考这里 #安装 PostgreSQL sudo apt-get updatesudo apt-get upgradeapt-get install htop wget software-properties-common 默认: sudo apt-get install postgresql (9.5版本)... 阅读全文

摘要： 相信大多数 python 的初学者们都曾为开发环境问题折腾了很久，包管理和 python 不同版本的问题,特别是 window 环境安装个 scrapy 各种报错 ,使用 Anaconda 可以很好的解决一些不必要的学习成本。 Anaconda 概述 Anaconda 是一个用于科学计算的 pyth 阅读全文

摘要： 异常错误： 关闭 IP6 #修改 vi /etc/sysctl.conf # 添加如下三条设置 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 net.ipv6.conf.lo.disable_ipv 阅读全文