摘要:
本节以 zabbix 为例,介绍如何使用监控系统完成 Elasticsearch 的监控报警。 github 上有好几个版本的 ESZabbix 仓库,都源自 Elastic 公司员工 untergeek 最早的贡献。但是当时 Elasticsearch 还没有官方 python 客户端,所以监控程 阅读全文
摘要:
最近爬取了百万数据,以下是学习爬虫时汇总的相关知识点 什么是爬虫和反爬虫 爬虫 —— 使用任何技术手段批量获取网站信息的一种方式,关键在批量。 反爬虫 —— 使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。关键也在于批量。 误伤 —— 在反爬虫的过程中,错误的将普通用户识别为爬虫。误伤率高 阅读全文
摘要:
最近弄爬虫,遇到的一个问题就是如何使用post方法模拟登陆爬取网页。下面是极简版的代码: 原文地址: http://wangxin123.com/2016/12/19/%E4%BD%BF%E7%94%A8Post%E6%96%B9%E6%B3%95%E6%A8%A1%E6%8B%9F%E7%99%B 阅读全文
摘要:
最近进行了微信公众号的预研,目前支持的功能如下 支持关键字回复,目前能回复图文信息。 支持自定义菜单创建及菜单事件响应。 支持各消息类型的识别。目前可以识别用户发送的文本、图片、声音、地址和链接信息等。 支持拍照答题。微信公众号内带拍照功能,用户发送图片后,后端可调用接口进行图片识别,并回复图文信息 阅读全文
摘要:
分布式算法 在做服务器负载均衡时候可供选择的负载均衡的算法有很多,包括: 轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为常用的算法. 典型的应用 阅读全文
摘要:
分布式一致性问题 在分布式系统中,为了保证数据的高可用,通常,我们会将数据保留多个副本(replica),这些副本会放置在不同的物理的机器上。为了对用户提供正确的增、删、改、查等语义,我们需要保证这些放置在不同物理机器上的副本是一致的。 为了解决这种分布式一致性问题,在性能和数据一致性的反反复复权衡 阅读全文
摘要:
持续更新中 ~~ 地址:https://github.com/Wasim37/deployment scripts/ 阅读全文
摘要:
问题 由于某些原因,现在需要这样的一个文件上传接口,这个接口type(String)是必传参数,photoFile(MultipartFile)是非必传参数,即一般情况下需要接受两个参数,分别为photoFile和type,但是偶尔只接受type参数,不需要起到上传作用。 按常规写法,photoFi 阅读全文
摘要:
示警媒介 一般情况下,zabbix监控主机都配置了触发器,触发器被触发发送消息给运维,需要中间介质来接收并传递消息。 zabbix默认的【示警媒介类型】有三种,Email、Jabber、SMS。 (1)Email:使用sendmail发送邮件,从这边出去的邮件基本是垃圾邮件。 (2)SMS:需要短信 阅读全文
摘要:
Paxos算法是莱斯利·兰伯特(英语:Leslie Lamport,LaTeX中的“La”)于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。 问题和假设 分布式系统中的节点通信存在两种模型:共享内存(Shared memory)和消息传递(Messages passing) 。基于 阅读全文