01 2020 档案
摘要：同步和异步 1. 同步，就是在发出一个调用时，在没有得到结果之前， 该调用就不返回。换句话说就是调用者主动接收这个结果。 2. 异步，就是调用者发出一个调用后，不用等结果，直接可以进行下一步。也就是说这个调用没有返回结果，是被调用者通过状态、通知来通知调用者，或者通过回调函数处理这个调用。 通俗点说
阅读全文
摘要：普通爬虫和协程爬虫 普通爬虫逻辑： get_titles() 函数首先使用 requests 模块发起了一个get请求，获取html的页面源码。 然后利用 etree 中的 xpath 解析出想要获取到的内容。 xpath('')中使用的是xpath语法，可以准确的定位获取到的内容。可以在审查元素中
阅读全文
摘要：Python SMTP发送邮件 Python中支持SMTP的模块有 smtplib 和 email ,email负责构造邮件，smtplib负责发送邮件。 这里在实验的时候发现163邮箱不能直接对QQ邮箱发信，说是垃圾邮件。所以测试的时候用的另一个163邮箱，成功发信。
阅读全文
摘要：Pillow pillow是一个图形处理模块，可以实现常用的裁剪，模糊，输出文字等功能。 模糊效果 requests requests用来处理URL资源。 get() 使用 来实现一个get访问功能。 获取状态码 获取头信息 ... 如果url带参数，则可以设置get的第二个参数 params ,传
阅读全文
摘要：hashlib MD5 MD5的结果是固定的128 bit字节，通常为32位16进制字符串。 如果数据量大的话，可以使用多个update组合使用，效果和直接使用相同。 SHA1 SHA1的结果是160 bit字节，通常使用40位的16进制字符串表示。 itertools itertools模块主要提
阅读全文
摘要：ChainMap ChainMap 可以把一组dict串起来并组成一个逻辑上的dict。 当程序可以以多种方式传递参数的时候，可以使用ChainMap实现参数的优先级查找，即先查 命令行参数 环境变量 默认参数 Counter 一个提供一个快捷技术工具。 base64 base64.b64encod
阅读全文
摘要：正则表达式 "30分钟正则表达式" python中对于正则表达式使用re模块处理 因为python本身也用 转义，所以可以在字符串前使用 r 前缀，这样就不用考虑转义问题了。 match() match()方法判断是否匹配成功，然会一个match()对象，否则返回None。 split() re模块
阅读全文
摘要：IO编程 读文件 open('路径','模式',encoding='编码方式',errors='ignore') 1. 打开文本文件使用'r',二进制文件使用'rb' 2. 编码方式默认为UTF 8 3. 遇到编码错误后使用error参数处理 每次打开文件操作结束后需要使用f.close()关闭文件
阅读全文
摘要：type()函数 type()函数既可以返回一个对象的类型，又可以创建出新的类型。 type('类名',(继承的父类),dict(方法绑定函数)) 使用type()函数创建的类和直接写class完全一样，因为python解释器遇到class定义时，仅仅是扫描以下class定义的语法，然后调用type
阅读全文
摘要：@property装饰器 把一个方法变成属性调用 好处是方便调用 只使用@property而不不对该函数setter方法，表示定义为只读属性 多重继承 使用方法 MixIn多重继承 因为python允许使用多重继承，所以MixIn为常见写法 定制类 __iter__ 实现__iter__()方法让类
阅读全文
摘要：迭代 如果给定一个list或tuple，我们可以通过for循环来遍历这个list或tuple，这种遍历成为迭代。 在python中，迭代是通过for...in来完成的。 使用for循环时，只要作用于一个可迭代对象，for循环就可以正常运行。 生成器 在python中，一边循环一边计算的机制，称为生成
阅读全文
摘要：异步IO 对于异步IO阻塞非阻塞，我觉得下面的例子更简单易懂。 生成器进阶 关于yield和yield from 本例中第二个生成器使用了 yield from ，等同于使用 yield from还能让我们省去很多异常处理的操作，因为其内部已经实现了大部分的异常处理。 @asyncio.corout
阅读全文
