随笔分类 - python
摘要:1. 打包检查 2. 打包 3. 上传 twine 安装: pip install twine twine 提示输入 pypi 账号和密码,上传成功否就能在自己的pypi账号中看到了。 但是并不是马上就能使用 pip 安装了。需要等待一段时间。
阅读全文
摘要:django 重写 mysql 连接库实现连接池 问题 django 项目使用 gunicorn + gevent 部署,并设置 CONN_MAX_AGE 会导致 mysql 数据库连接数飙升,在高并发模式可能会出现 too many connections 错误。该怎么解决这个问题呢?首先看下 d
阅读全文
摘要:APScheduler 最近想写个任务调度程序,于是研究了下 Python 中的任务调度工具,比较有名的是:Celery,RQ,APScheduler。 Celery:非常强大的分布式任务调度框架 RQ:基于Redis的作业队列工具 APScheduler:一款强大的任务调度工具 RQ 参考 Cel
阅读全文
摘要:问题 最近在学习 ansible ,在使用普通用户远程执行 命令是发现提示错误:/bin/sh: ip: command not found。 原因 command not found 命令未找到,一般想到的是环境变量的问题。网上查找资料,也证实了这个猜测,根本原因是 ansible 登录方式为 n
阅读全文
摘要:django debug toolbar的配置以及使用 django 开中,用 django debug toolbar 来调试可以查看当前请求时间,sql,配置等信息,比较好用,安装过程也不复杂,本次使用环境为python3.7 + django2.2.3。 安装 pip install djan
阅读全文
摘要:说明 基于 python3.7 + django 2.2.3 实现的 django webtelnet。有兴趣的同学可以在此基础上稍作修改集成到自己的堡垒机中。 项目地址:https://github.com/leffss/django webtelnet 所需技术: websocket,djang
阅读全文
摘要:说明 基于 python3.7 + django 2.2.3 实现的 django-webshell,支持颜色显示,支持 tab 命令补全,项目地址:https://github.com/leffss/django-webssh 。参考项目。在参考项目的基础上做了一些优化:新增前端页面刷新确认页面(
阅读全文
摘要:scrapy如果抓取太频繁了,就被被封IP,目前有以下主要策略保证不会被封: 策略1:设置download_delay下载延迟,数字设置为5秒,越大越安全 策略2:禁止Cookie,某些网站会通过Cookie识别用户身份,禁用后使得服务器无法识别爬虫轨迹 策略3:使用user agent池。也就是每
阅读全文
摘要:scrapy-redis + Bloom Filter分布式爬取tencent社招信息 什么是scrapy-redis 什么是 Bloom Filter 为什么需要使用scrapy-redis + Bloom Filter 目标任务 安装爬虫 创建爬虫 编写 items.py 编写 spiders/
阅读全文
摘要:scrapy-redis分布式爬取tencent社招信息 什么是scrapy-redis 目标任务 安装爬虫 创建爬虫 编写 items.py 编写 spiders/tencent.py 编写 pipelines.py 编写 middlewares.py 编写 settings.py 搭建 redi
阅读全文
摘要:scrapy爬取cnblogs文章 目标任务 安装爬虫 创建爬虫 编写 items.py 编写 spiders/cnblogs.py 编写 pipelines.py 编写 settings.py 运行爬虫 scrapy爬取cnblogs文章 目标任务 安装爬虫 创建爬虫 编写 items.py 编写
阅读全文