随笔分类 -  python

摘要:1. 打包检查 2. 打包 3. 上传 twine 安装: pip install twine twine 提示输入 pypi 账号和密码,上传成功否就能在自己的pypi账号中看到了。 但是并不是马上就能使用 pip 安装了。需要等待一段时间。 阅读全文
posted @ 2019-12-12 16:26 leffss 阅读(2920) 评论(0) 推荐(0) 编辑
摘要:django 重写 mysql 连接库实现连接池 问题 django 项目使用 gunicorn + gevent 部署,并设置 CONN_MAX_AGE 会导致 mysql 数据库连接数飙升,在高并发模式可能会出现 too many connections 错误。该怎么解决这个问题呢?首先看下 d 阅读全文
posted @ 2019-12-05 11:27 leffss 阅读(1987) 评论(4) 推荐(0) 编辑
摘要:APScheduler 最近想写个任务调度程序,于是研究了下 Python 中的任务调度工具,比较有名的是:Celery,RQ,APScheduler。 Celery:非常强大的分布式任务调度框架 RQ:基于Redis的作业队列工具 APScheduler:一款强大的任务调度工具 RQ 参考 Cel 阅读全文
posted @ 2019-11-22 16:29 leffss 阅读(38253) 评论(1) 推荐(14) 编辑
摘要:问题 最近在学习 ansible ,在使用普通用户远程执行 命令是发现提示错误:/bin/sh: ip: command not found。 原因 command not found 命令未找到,一般想到的是环境变量的问题。网上查找资料,也证实了这个猜测,根本原因是 ansible 登录方式为 n 阅读全文
posted @ 2019-09-20 09:41 leffss 阅读(7210) 评论(0) 推荐(2) 编辑
摘要:django debug toolbar的配置以及使用 django 开中,用 django debug toolbar 来调试可以查看当前请求时间,sql,配置等信息,比较好用,安装过程也不复杂,本次使用环境为python3.7 + django2.2.3。 安装 pip install djan 阅读全文
posted @ 2019-08-02 08:57 leffss 阅读(513) 评论(0) 推荐(0) 编辑
摘要:说明 基于 python3.7 + django 2.2.3 实现的 django webtelnet。有兴趣的同学可以在此基础上稍作修改集成到自己的堡垒机中。 项目地址:https://github.com/leffss/django webtelnet 所需技术: websocket,djang 阅读全文
posted @ 2019-07-30 16:46 leffss 阅读(1527) 评论(3) 推荐(0) 编辑
摘要:说明 基于 python3.7 + django 2.2.3 实现的 django-webshell,支持颜色显示,支持 tab 命令补全,项目地址:https://github.com/leffss/django-webssh 。参考项目。在参考项目的基础上做了一些优化:新增前端页面刷新确认页面( 阅读全文
posted @ 2019-07-26 13:08 leffss 阅读(4968) 评论(9) 推荐(0) 编辑
摘要:scrapy如果抓取太频繁了,就被被封IP,目前有以下主要策略保证不会被封: 策略1:设置download_delay下载延迟,数字设置为5秒,越大越安全 策略2:禁止Cookie,某些网站会通过Cookie识别用户身份,禁用后使得服务器无法识别爬虫轨迹 策略3:使用user agent池。也就是每 阅读全文
posted @ 2019-06-11 13:22 leffss 阅读(1438) 评论(0) 推荐(0) 编辑
摘要:scrapy-redis + Bloom Filter分布式爬取tencent社招信息 什么是scrapy-redis 什么是 Bloom Filter 为什么需要使用scrapy-redis + Bloom Filter 目标任务 安装爬虫 创建爬虫 编写 items.py 编写 spiders/ 阅读全文
posted @ 2019-06-11 13:18 leffss 阅读(615) 评论(0) 推荐(0) 编辑
摘要:scrapy-redis分布式爬取tencent社招信息 什么是scrapy-redis 目标任务 安装爬虫 创建爬虫 编写 items.py 编写 spiders/tencent.py 编写 pipelines.py 编写 middlewares.py 编写 settings.py 搭建 redi 阅读全文
posted @ 2019-06-11 13:12 leffss 阅读(316) 评论(0) 推荐(0) 编辑
摘要:scrapy爬取cnblogs文章 目标任务 安装爬虫 创建爬虫 编写 items.py 编写 spiders/cnblogs.py 编写 pipelines.py 编写 settings.py 运行爬虫 scrapy爬取cnblogs文章 目标任务 安装爬虫 创建爬虫 编写 items.py 编写 阅读全文
posted @ 2019-06-11 13:07 leffss 阅读(780) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示