摘要:
常用命令 查看集群健康信息 curl -sXGET 127.0.0.1:9200/_cat/health?v curl -sXGET 127.0.0.1:9200/_cluster/health?pretty 1 绿色,最健康的状态,代表所有的分片包括备份都可用 2 黄色,基本的分片可用,但是备份不 阅读全文
摘要:
1. encode encode将字符串转换为bytes类型的对象 (即b为前缀, bytes类型), 即Ascll编码, 字节数组 >>> a0 = '哈哈' >>> b = a0.encode() >>> type(b) <class 'bytes'> >>> >>> b b'\xe5\x93\ 阅读全文
摘要:
介绍 我们知道,base16编码就是将字符用16进制表示 ’a’ =base16=> b’61’ 那么简单对16进制字符串进行base16解码即可 binascii方法: import binascii hex_str = "557365723a20746573740d0a50617373776f7 阅读全文
摘要:
介绍: 我们可以利用 redis 过期Key来实现接口的频次限制。可以自定义一些访问的(速度)限制条件来把那些触发限制的请求拒之门外.一般常用来进行对爬虫的限制. 下面就利用 redis 来实现了一个简单的案例: 装饰器实现 def frequency_limit(f): @wraps(f) def 阅读全文
摘要:
flask-limiter - 第三方控频插件 官方文档:FlaskLIMITER。 flask-limiter 是一个对客户端的访问速率进行限制的flask扩展.可以自定义一些访问的(速度)限制条件来把那些触发限制的请求拒之门外.一般常用来进行对爬虫的限制. 下面就常见的用法,举了一些例子.更多的 阅读全文
摘要:
问题 在安装PIL的时候会发生一些问题 PIL是Python平台事实上的图像处理标准库,支持多种格式,并提供强大的图形与图像处理功能。目前PIL的官方最新版本为1.1.7,支持的版本为python 2.5, 2.6, 2.7,并不支持python3,因此我们用pillow代替,进入DOS命令行窗口, 阅读全文
摘要:
介绍 Grok 意味 “通过感觉会意” 他比正则更高级一些,在语法上略有不同,不过也是换汤不换药,对于熟悉正则的同学来说,Grok也不会很难。 常用表达式 表达式标识 名称 详情 匹配例子 USERNAME 或 USER 用户名 由数字、大小写及特殊字符(._-)组成的字符串 1234、Bob、Al 阅读全文
摘要:
简单方式创建index curl -XPUT ‘http://localhost:9200/twitter/' 在创建索引的时候指定分片和副本数量参数,参数格式采用JSON格式。 curl -XPUT 'http://localhost:9200/twitter/' -d '{ "settings" 阅读全文
摘要:
一、创建 mapping 我们可以通过 curl 命令来创建也可以使用 postman 工具等 # 自定义mapping test.org PUT test { "mapping": { "properties": { "id": { "type": "keyword" }, "name": { " 阅读全文
摘要:
一、介绍线程 1)什么是线程? 线程(英语:thread)是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。在Unix System V及SunOS中也被称为轻量进程(l 阅读全文