摘要:
前言: 使用 requests + Beautifulsoup的爬虫模式,随着业务的扩展,会遇到 性能、数据快速存储、多爬虫统一管理的问题,所以选择了爬虫框架 Scrapy! Scrapy是什么? Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或 阅读全文
摘要:
目录: 为什么要做监控? 监控系统业务需求分析; 监控系统架构设计; 监控系统表结构设计; 一、为什么要做监控系统? 市面上已经有很多成熟的监控系统,例如zabbix、nagios,为什么自己开发监控系统? 1.提示个人开发能力; 2.熟悉成熟监控系统的设计思想、架构、解耦原则; 3.调用 zabb 阅读全文
摘要:
前言: 权限是什么? 对于web程序来说,一条权限 = 一个动作 =一个url + 一种请求方法(get/post/put...) + 若干个请求参数(?name="name"&sex=1&age=10 ...) 用户访问的每个不同的 fullpath就决定了用户能获取到什么;通过区分fullpat 阅读全文
摘要:
前言: 每个公司的网络环境大都划分 办公网络、线上网络,之所以划分的主要原因是为了保证线上操作安全; 对于外部用户而言也只能访问线上网络的特定开放端口,那么是什么控制了用户访问线上网络的呢? 防火墙过滤......! 对于内部员工而言对线上系统日常运维、代码部署如何安全访问线上业务系统呢?如何监控、 阅读全文
摘要:
前言: wxpy模块可以通过python程序获取微信 好友、群组、公众号,并发送文本消息、图片、视频,实现微信消息发送自动化; 暂不支持以下功能: 支付相关 - 红包、转账、收款 等都不支持 在群聊中@他人 - 是的,Web 微信中被人@后也不会提醒 发送名片 - 但可以通过 send_raw_ms 阅读全文
摘要:
前言 作为一个的后端开发人员,把前端技术做到很好这显然是矛盾的,如果所处团队没有前端人员,使用UI框架到也不失为一个不错的选择,UI框架有很多例如bootstrap、easyUI....本文主要介绍jQueryUI; 概述 Query UI 是建立在JavaScript、 jQuery之上的UI库, 阅读全文
摘要:
前言: 一个初略自动化运维平台,应该实现以下3个层面自动化: 1.操作系统层面自动化 如果想要万台服务器共舞,没有操作系统这个舞台还怎么舞? 1.1:物理环境: OS预备自动安装(Pxe/KickStart/Cobbler) 1.2:云环境 Iaas实现框架(OpenStack) 2.应用软件层面自 阅读全文
摘要:
阅读全文
摘要:
前言 为了体验CI/CD实现过程并深入理解CI、CD流水线上的各组件的作用; 我自己搭建了1个GitLab+Jenkins+maven; 一、GitLab实现CI GitLab服务器用于存储代码资源,可以实现代码的持续集成(CI),可以借助NFS、Ceph等存储系统,对数据进行高可用存储; 1.安装 阅读全文