小黑啊小黑

摘要： scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 阅读全文

摘要： DBUtils是Python的一个用于实现数据库连接池的模块。 此连接池有两种连接模式： 模式一：为每个线程创建一个连接，线程即使调用了close方法，也不会关闭，只是把连接重新放到连接池，供自己线程再次使用。当线程终止时，连接自动关闭。 POOL = PersistentDB( creator=p 阅读全文

摘要： Python操作Zip文件 需要使用到zipfile模块 读取Zip文件 随便一个zip文件，我这里用了bb.zip，就是一个文件夹bb，里面有个文件aa.txt。 import zipfile # 默认模式r,读 azip = zipfile.ZipFile('bb.zip') # ['bb/', 阅读全文

摘要： scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 阅读全文

摘要： 安装python3.6可能使用的依赖 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap 阅读全文

摘要： 首先查看js渲染前的html源码，发现放图片的位置是这样的 本该放地址的地方赫然放着blank.gif，并且在onload属性上绑定了一个jandan_load_img函数。这个jandan_load_img就成为本次爬虫的突破所在了。继续ctrl+shift+F全局搜索，找到这个函数 流程图： i 阅读全文

摘要： Restful API是目前比较成熟的一套互联网应用程序的API设计理念，Rest是一组架构约束条件和原则，如何Rest约束条件和原则的架构，我们就称为Restful架构，Restful架构具有结构清晰、符合标准、易于理解以及扩展方便等特点，受到越来越多网站的采用！ Restful API接口规范包 阅读全文

摘要： 知识预览 构建一个表单 在Django 中构建一个表单 Django Form 类详解 使用表单模板 回到顶部 构建一个表单 假设你想在你的网站上创建一个简单的表单，以获得用户的名字。你需要类似这样的模板： ? 1 2 3 4 5 <form action="/your-name/" method= 阅读全文

摘要： MySQL 数据库常用命令小结 MySQL 数据库常用命令 1、MySQL常用命令 create database name; 创建数据库 use databasename; 选择数据库 drop database name 直接删除数据库，不提醒 show tables; 显示表 describe 阅读全文

摘要： contenttypes 是Django内置的一个应用，可以追踪项目中所有app和model的对应关系，并记录在ContentType表中。 每当我们创建了新的model并执行数据库迁移后，ContentType表中就会自动新增一条记录。比如我在应用app01的models.py中创建表class 阅读全文