文章分类 - Python 学习之路
摘要：最近在为一个监控系统开发agent，需要支持Linux、FreeBSD及Windows等操作系统。复杂的线上环境，带来了一系列诡异的问题，尽管代码上线前在为数不少的测试机器验证过。 Python程序吐coredump文件怎么办？很多人都会想到gdb加载coredump文件，然后查看信号及堆栈信息，以
阅读全文
摘要：bytearray是可变(mutable)的字节序列，相对于Python2中的str，但str是不可变(immutable)的。在Python3中由于str默认是unicode编码，所以只有通过bytearray才能按字节访问。 memoryview为支持buffer protocol[1,2]的对
阅读全文
摘要：转日期类型 helper函数： 转str, 转bytes helper函数：
阅读全文
摘要：python print(1 if 3 >2 else 2)javascript var res=5>3?1:2
阅读全文
摘要：转载文章：事件驱动与 阻塞IO、非阻塞IO、IO多路复用、异步IO asyncio 之前爬虫使用的是requests+多线程/多进程，后来随着前几天的深入了解，才发现，对于爬虫来说，真正的瓶颈并不是CPU的处理速度，而是对于网页抓取时候的往返时间，因为如果采用requests+多线程/多进程，他本身
阅读全文
摘要：I/O多路复用是在单线程模式下实现多线程的效果，实现一个多I/O并发的效果。 看一个简单socket例子： import socket SOCKET_FAMILY = socket.AF_INET SOCKET_TYPE = socket.SOCK_STREAM sockServer = socke
阅读全文
摘要：Queue Queue是python标准库中的线程安全的队列（FIFO）实现,提供了一个适用于多线程编程的先进先出的数据结构，即队列，用来在生产者和消费者线程之间的信息传递。 基本FIFO队列 class queue.Queue(maxsize=0) FIFO即First in First Out,
阅读全文
摘要：原始实现线程池 concurrent.futures模块 是在Python3.2中添加的。根据Python的官方文档，concurrent.futures模块提供给开发者一个执行异步调用的高级接口。concurrent.futures基本上就是在Python的threading和multiproce
阅读全文
摘要：进程由来 > 分时操作系统， 因为需要不同的任务之间进行切换， 因此需要进程来管理 。 进程提供了 一个程序被执行所需要的资源。 一个程序要有： 至少一个线程 ，虚拟地址空间，文件句柄，环境变量，进程标识，优先级 等等。 进程本身不工作，只是资源的管理集合， 线程才是真正的工作者， 第一个线程为主线
阅读全文
摘要：发送数据包前 对包的长度进行计算 1. 比较low的方法是 len( package) 然后直接发送给接收端。这样会出现一个问题，就是接收端不知道你的这个 len(package)是几个字节，就也有可能会出现粘包问题。 2. 利用struct对包的长度打包为固定4个字节或8个字节。 3. struc
阅读全文
摘要：TCP的粘包现象 看面经时，看到有面试官问TCP的粘包问题。想起来研一做购物车处理数据更新时遇到粘包问题，就总结一下吧。 1 什么是粘包现象 TCP粘包是指发送方发送的若干包数据到接收方接收时粘成一包，从接收缓冲区看，后一包数据的头紧接着前一包数据的尾。 2 为什么出现粘包现象 （1）发送方原因 我
阅读全文
摘要：flush 通过 设置flush = True来实现进度条 file file可以输入到文件，sys.stdout是默认输出到屏幕 打印颜色 格式：\033[显示方式;字体色;背景色m......[\033[0m 字体色 | 背景色 | 颜色描述 30 | 40 | 黑色 31 | 41 | 红色
阅读全文
摘要：global 定义全局变量 下面两个是内置函数： locals() 以字典形式访问局部变量 globals() 以字典形式访问全局变量，注意 不能访问局部变量 示例： 通过内省模块globals() 全局变量，找出以_promotion结尾的所有函数，一遍被其他模块调用
阅读全文
摘要：hash()算法是将对象转换为hash值， 该hash值只在当前程序有效(不变)。 md5()算法也是将对象转换为md5值，只要对象不变，该md5值永远不变，通常用来做一致性校验。
阅读全文
摘要：self._sslobj.do_handshake() ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed 当我们使用python去连接一些基于443端口的服务时，经常会遇到以上报错。解决方法如下： imp
阅读全文
摘要：exec语句用来执行储存在字符串或文件中的Python语句。 例如，我们可以在运行时生成一个包含Python代码的字符串，然后使用exec语句执行这些语句。下面是一个简单的例子。 >>> exec('print("Hello World")')Hello World >>> exec("a = 1
阅读全文
摘要：Requests: HTTP for Humans 官方主页 Behold, the power of Requests: requests api 以上的HTTP方法，对于WEB系统一般只支持 GET 和 POST，有一些还支持 HEAD 方法。 1、带参数的请求实例： import reques
阅读全文
摘要：urllib — URL handling modules urllib is a package that collects several modules for working with URLs: (1) urllib.request for opening and reading URLs
阅读全文
摘要：函数 函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。 函数传值 一、位置参数 二、关键字参数 用于函数调用，通过“键-值”形式加以指定。可以让函数更加清晰、容易使用，同时也清除了参数的顺序需求。 三、默认参数 四、 可变参数 *args
阅读全文
摘要：Unicode 与 UTF-8 Unicode（统一码、万国码）是计算机科学领域里的一项业界标准,包括字符集、编码方案等. 存储方式：通通都是2个字节来存储 UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码. 存储方式：使
阅读全文
