摘要:
数据清洗之微博时间清洗 爬取微博的时候时间格式比较乱,存到数据库要统一成datatime类型,所以需要用到对时间的转换 这里是对time模块和datetime的模块的使用。 对于当天的有三种: 40秒前 50分钟前 今天 08:12 针对这三种,第一步要做的是获取当前的年月日 解释 第一行我们导入d 阅读全文
摘要:
python asyncio 网络模型有很多中,为了实现高并发也有很多方案,多线程,多进程。无论多线程和多进程,IO的调度更多取决于系统,而协程的方式,调度来自用户,用户可以在函数中yield一个状态。使用协程可以实现高效的并发任务。Python的在3.4中引入了协程的概念,可是这个还是以生成器对象 阅读全文
摘要:
如果使用的是 asyncio.gather创建协程对象,那么await的返回值就是协程运行的结果。 阅读全文
摘要:
主要内容 从Python 3.6开始,f-string是格式化字符串的一种很好的新方法。与其他格式化方式相比,它们不仅更易读,更简洁,不易出错,而且速度更快! 在本文的最后,您将了解如何以及为什么今天开始使用f-string(后文称为F字符串)。 但首先, 我们要聊以下在F字符串出现之前我们怎么实现 阅读全文
该文被密码保护。 阅读全文
摘要:
``` def use_cookie(self): cookies="YF-V5-G0=731b77772529a1f49eac82a9d2c2957f; SUB=_2AkMsEgief8NxqwJRmPASyGvkbYl3wwzEieKaTvlFJRMxHRl-yT83ql0ltRB6B5ImcWJgp-T_qKP4KYQRB6SAM7ufKcM0; SUBP=0033WrS... 阅读全文
摘要:
redis是一个开源的,高性能的,基于键值对的缓存与存储系统通过提供多种键值数据类型来适应不同场景下的缓存与存储需求。 同时redis的诸多高层级功能使其可以胜任消息队列,任务队列等不同的角色。 特性 Redis是Remote Dictionary Server(远程字典服务器的缩写) ,他以字典结 阅读全文
摘要:
Celery 是一个简单、灵活且可靠的,处理大量消息的分布式系统,并且提供维护这样一个系统的必需工具。它是一个专注于实时处理的任务队列,同时也支持任务调度。Celery 是语言无关的,虽然它是用 Python 实现的,但他提供了其他常见语言的接口支持。 Celery 结构 网上找到一张用得最多的图 阅读全文
摘要:
1.crontab e 打开任务列表,输入i开始编写面之后按esc退出编写默写,:wq保存退出即可。 2.关于时间格式的定义,,请使用下面的网站 3如何查看任务状态 查看日志 阅读全文
摘要:
查看当前默认python版本 安装python3.6可能使用的依赖 EPEL 是yum的一个软件源,里面包含了许多基本源里没有的软件了,但在我们在使用epel时是需要安装它才可以了,EPEL, 安装pip 更新pip 查看centos的系统信息 安装wget 下载python3.6 解压tgz包 把 阅读全文