摘要：
什么是Kibana?Kibana 是一个设计出来用于和 Elasticsearch 一起使用的开源的分析与可视化平台，可以用 kibana 搜索、查看、交互存放在Elasticsearch 索引里的数据，使用各种不同的图表、表格、地图等展示高级数据分析与可视化，基于浏览器的接口使你能快速创建和分享实 阅读全文
摘要：
Redis 1.使用scrapy-proxy随机IP代理插件： 安装： pip install scrapy_proxies 设置settings.py # Retry many times since proxies often fail RETRY_TIMES = 10 # Retry on m 阅读全文
摘要：
问题： 抓取一网站，同一个账号需要同一个ip才能抓取，不然被封。所以做了简单的账户对应ip的类去使用 会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie， 期间使用 urllib3 的 connection pooling 功能。所以如果你向 阅读全文
摘要：
一、简介： RabbitMq 是实现了高级消息队列协议（AMQP）的开源消息代理中间件。消息队列是一种应用程序对应用程序的通行方式，应用程序通过写消息，将消息传递于队列，由另一应用程序读取 完成通信。而作为中间件的 RabbitMq 无疑是目前最流行的消息队列之一。 RabbitMq 应用场景广泛： 阅读全文
摘要：
Redis Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 简单介绍下redis，一个高性能key-value的存储系统，支持存储的类型有string、list、set、zset和hash。在处理大规模数据读写的场景下运用比较多。 Redis有以下特点： -- 阅读全文
摘要：
首先在虚拟环境中安装支持库pymongo 之后安装插件Mongo 安装完成插件后，在选项卡view中勾选“Tool Buttons”，之后会在pycharm界面右边框看到Mongo Explorer按钮 点击上图中右上角小扳手图标配置数据库信息如下： 大功告成！！！！ 阅读全文
摘要：
datetime库概述 datetime库定义了2个常量和5个类。 2个常量分别是MINYEAR=1和MAXYEAR=9999。 5个类分别是： date类：表示日期的类 time类：表示时间的类 datetime类：表示时间日期的类 timedelta类：表示两个datetime对象的差值； tz 阅读全文
摘要：
编码问题 https://www.cnblogs.com/clbao/articles/11697228.html python基础常见问题 https://www.cnblogs.com/clbao/articles/11391146.html 阅读全文
摘要：
创建model 文档都是继承Document类。预留：字段类型： 字段限制： 继承model 只需要再父类的meta的 'allow_inheritance' 设置为True 内嵌文档 一篇文章post内的所有评论comments直接嵌入这篇文章的内部是mongodb常见的思路，首先创建一个comm 阅读全文
摘要：
一、安装 前言：如果只是拿 mitmproxy 做一个替代 fiddler 的工具，没有什么定制化的需求，那完全只需要“安装 mitmproxy 工具”即可，去 mitmproxy 官网 上下载一个 installer 便可开箱即用，不需要提前准备好 python 开发环境。但显然，这不是这里要讨论 阅读全文
摘要：
中文分词 1、安装 pip install jieba 2、使用 import jieba # 全模式 text = "我来到中国北京天安门" seg_list = jieba.cut(text, cut_all=True) print(" ".join(seg_list)) # 我 来到 中国 北 阅读全文
摘要：
一、导出工具mongoexport 简介，通过帮助先了解下mongoexport的功能参数 mongoexport --help Usage: mongoexport <options> Export data from MongoDB in CSV or JSON format. See http 阅读全文
摘要：
一 、下载 下载压缩包解压后选择系统匹配版本安装，x86是32位，x64是64位，链接: https://pan.baidu.com/s/1JaNcv5YYZ1hVadE6_MVJOA 提取码: n2dm 复制这段内容后打开百度网盘手机App，操作更方便哦 二、安装 pass 三、激活 1.安装完成 阅读全文
摘要：
在HTTP协议中，响应状态码 429 Too Many Requests 表示在一定的时间内用户发送了太多的请求，即超出了“频次限制”。 在响应中，可以提供一个 Retry-After 首部来提示用户需要等待多长时间之后再发送新的请求。 服务器不主动拒绝请求，不封ip，但是会限制请求频率，所有我们要 阅读全文
摘要：
由于某些原因，我们的MongoDB里存在重复数据，甚至已经影响到数据统计。 其实在MongoDB 3.2之前可以通过索引直接去重。但这一特性在3.2版本之初已经移除。 大概思路是，通过aggregation先group出重复的键值对并做count，之后match所有count>2的键值对，认为他们是 阅读全文
摘要：
一、SWAP 概述 当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间中，等到那些程序要运行时，再从Swap中恢复保存的数据到内存中。这样，系统总是在物理内存不 阅读全文
摘要：
普通版发送mail # -*- coding: utf-8-*- import smtplib import datetime from email.mime.text import MIMEText from email.mime.multipart import MIMEMultipart fr 阅读全文
摘要：
ftop是linux下的一个流量监控工具，用于查看实时网络流量。官网：http://www.ex-parrot.com/pdw/iftop/ 1、安装必须软件包 2、安装iftop 3、使用 4、常用参数 进入iftop后可按h查看帮助。 Host display:n - 切换DNS解析，显示IP或 阅读全文
摘要：
简介 supervisor是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具。可以很方便的监听、启动、停止、重启一个或多个进程。用supervisor管理的进程，当一个进程意外被杀死，supervisor监听到进程死后，会自动将它重启，很方便的做 阅读全文
摘要：
说到定时任务，你会想起 linux 自带的 crontab ，windows 自带的任务计划，都可以实现守时任务。没错，操作系统基本都会提供定时任务的实现，但是如果你想要更加精细化的控制，或者说任务程序需要跨平台运行，最好还是自己实现定时任务框架，Python 的 apscheduler 提供了非常 阅读全文
摘要：
click简介 Click是一个Python包，用于以可组合的方式创建漂亮的命令行界面，只需要很少的代码。这是“命令行界面创建工具包”。它具有高度可配置性，但具有开箱即用的合理默认值。 点击三点： 任意嵌套命令 自动帮助页面生成 支持在运行时延迟加载子命令 任意嵌套命令 自动帮助页面生成 支持在运行 阅读全文
摘要：
一般来说，我们抓https包使用fiddler或charles，然后手机安装证书就可以抓包了，但是有时候我们抓某些app时候，一连上代理，却提示不能上网，明明可以上网，为啥app提示无网络，原因可能就是开启了https双向认证，客户端一般使用SSL Pinning防止中间人拦截攻击。我们可以使用ss 阅读全文
摘要：
在python中要使用到crypto相关的库，但是网上的什么vc++ 解决方法一大片，但是真的都是废话 1. pycrypto，pycrytodome和crypto是一个东西，crypto在python上面的名字是pycrypto它是一个第三方库，但是已经停止更新三年了，所以不建议安装这个库； 2. 阅读全文
摘要：
appium是什么？ 1，appium是开源的移动端自动化测试框架；2，appium可以测试原生的、混合的、以及移动端的web项目；3，appium可以测试ios，android应用（当然了，还有firefox os）；4，appium是跨平台的，可以用在osx，windows以及linux桌面系统 阅读全文