摘要：
一 数据库的连接配置 django连接mysql的配置流程 创建数据库用户 有创建数据库权限的用户 创建数据库 crm 修改配置 settings 修改项目文件夹下(settings.py所在文件夹的目录) __init__.py里面 import pymysql pymysql.install_a 阅读全文
摘要：
模板路径 模板查找顺序：优先在DIRS设置的目录下查找templates，如果没有, 'APP_DIRS': True时，继续在注册的app文件夹下查找相应的templates。 app注册后才能查找内部模板 模板变量 模板变量命名：同变量命名规则，在遵循python的变量命名的规则的前提下，且不能 阅读全文
摘要：
1. 增加去重容器类配置,DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter” 2. 增加调度配置,SCHEDULER = “scrapy_redis.scheduler.Scheduler” 3. 配置调度器持久化, 爬虫结束, 要不 阅读全文
摘要：
集合set“”set是一个无序不重复元素集，基本功能包括关系测试和消除重复元素。set支持union(联合), intersection(交), difference(差)和sysmmetric difference(对称差集 )等数学运算。set支持x in set, len(set), for 阅读全文
摘要：
整数可以利用bit_ length函 数测试所占的位数a =1;a.bit_ length()#a = 1024;a.bit length() # 11repr和str:显示格式的区别repr格式:默认的交互模式回显，产生的结果看起来它们就像是代码。str格式:打印语句，转化成一种对用户更加友好的格 阅读全文
摘要：
#-- 寻求帮助:dir(obj)#简单的列出对象obj所包含的方法名称，返回一个字符串列表help(obj. func)#查询obj . func的具体介绍和用法 测试类型的三种方法，推荐第三种 if type(L) == type([]): print("L is list" )if type( 阅读全文
摘要：
框架 pyspiderpyspider 启动callback 回调self.crawl 生成一个爬取任务，加入到待爬取的队列@every 告诉调度器 这个方法 每天执行一次@config 告诉调度器 这个request请求 过期时间为10天解析数据 re bs4 xpath pyqueryphant 阅读全文
摘要：
import requests requests . get( ' https:/ /www. baidu. com')爬虫程序1.给定种子url,程序负责获取url的页面数据2.程序对页面数据解析解析，匹配需要的url连接，放入到队列3.重复1和2, 直到条件完成 效率 线程 协程 分布式架构 优 阅读全文
摘要：
连接MongoDB 连接MongoDB我们需要使用PyMongo库里面的MongoClient，一般来说传入MongoDB的IP及端口即可 client = pymongo.MongoClient(host='127.0.0.1', port=27017) # 指定数据库 # MongoDB中还分为 阅读全文
摘要：
一、用brew install redis 二、启动 redis-cli 弹出Could not connect to Redis at 127.0.0.1:6379: Connection refused 三、redis-server 首先cd到redis.conf文件所在的文件夹，redis.c 阅读全文