摘要： 前言： 使用 requests + Beautifulsoup的爬虫模式，随着业务的扩展，会遇到 性能、数据快速存储、多爬虫统一管理的问题，所以选择了爬虫框架 Scrapy！ Scrapy是什么？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或 阅读全文

该文被密码保护。 阅读全文

摘要： 目录： 为什么要做监控？ 监控系统业务需求分析； 监控系统架构设计； 监控系统表结构设计； 一、为什么要做监控系统？ 市面上已经有很多成熟的监控系统，例如zabbix、nagios，为什么自己开发监控系统？ 1.提示个人开发能力； 2.熟悉成熟监控系统的设计思想、架构、解耦原则； 3.调用 zabb 阅读全文

摘要： 前言： 权限是什么？ 对于web程序来说，一条权限 = 一个动作 =一个url + 一种请求方法(get/post/put...) + 若干个请求参数（？name="name"&sex=1&age=10 ...） 用户访问的每个不同的 fullpath就决定了用户能获取到什么；通过区分fullpat 阅读全文

摘要： 前言： 每个公司的网络环境大都划分 办公网络、线上网络，之所以划分的主要原因是为了保证线上操作安全； 对于外部用户而言也只能访问线上网络的特定开放端口，那么是什么控制了用户访问线上网络的呢？ 防火墙过滤......！ 对于内部员工而言对线上系统日常运维、代码部署如何安全访问线上业务系统呢？如何监控、 阅读全文

摘要： 前言： wxpy模块可以通过python程序获取微信 好友、群组、公众号，并发送文本消息、图片、视频，实现微信消息发送自动化； 暂不支持以下功能： 支付相关 - 红包、转账、收款 等都不支持 在群聊中@他人 - 是的，Web 微信中被人@后也不会提醒 发送名片 - 但可以通过 send_raw_ms 阅读全文

摘要： 前言 作为一个的后端开发人员，把前端技术做到很好这显然是矛盾的，如果所处团队没有前端人员，使用UI框架到也不失为一个不错的选择，UI框架有很多例如bootstrap、easyUI....本文主要介绍jQueryUI； 概述 Query UI 是建立在JavaScript、 jQuery之上的UI库， 阅读全文

摘要： 前言： 一个初略自动化运维平台，应该实现以下3个层面自动化： 1.操作系统层面自动化 如果想要万台服务器共舞，没有操作系统这个舞台还怎么舞？ 1.1:物理环境： OS预备自动安装（Pxe/KickStart/Cobbler） 1.2:云环境 Iaas实现框架（OpenStack） 2.应用软件层面自 阅读全文

摘要： 阅读全文

摘要： 前言 为了体验CI/CD实现过程并深入理解CI、CD流水线上的各组件的作用； 我自己搭建了1个GitLab+Jenkins+maven； 一、GitLab实现CI GitLab服务器用于存储代码资源，可以实现代码的持续集成（CI），可以借助NFS、Ceph等存储系统，对数据进行高可用存储； 1.安装 阅读全文