摘要：
Q1:student表，name重复，去重查询 select distinct name from student group by需要配合聚合函数（avg, min, max, count, sum）使用 Q2:django中间件有哪些 Q3：django流程， django web架构 Q4： 阅读全文
|
摘要：
Q1:student表，name重复，去重查询 select distinct name from student group by需要配合聚合函数（avg, min, max, count, sum）使用 Q2:django中间件有哪些 Q3：django流程， django web架构 Q4： 阅读全文
摘要：
进入scrapy shell交互终端 scrapy shell url settings配置文件 可以通过 spider对象调用 阅读全文
摘要：
items定义字段名字 当怕爬取到数据时 pipelines储存进mongodb， 需将数据转换成dict 阅读全文
摘要：
# -*- coding: utf-8 -*- import scrapy class HrSpider(scrapy.Spider): name = 'hr' allowed_domains = ['tencent.com'] start_urls = ['https://hr.tencent.com/position.php'] def parse(... 阅读全文
摘要：
import logging # 设置日志基础样式 logging.basicConfig(level=logging.INFO, format='levelname:%(levelname)s filename: %(filename)s ' 'outputNumber: [%(lineno)... 阅读全文
摘要：
scrapy中多个pipeline作用： 一个项目可能需要爬取多个网站，根据每个网站的数据量（处理方式）不同，可创建多个管道 pipeline pipeline的方法 mysql mongodb 阅读全文
摘要：
scrapy中间件 下载中间件Downloader Middlewares和开发代理中间件 1.创建一个scrapy项目 scrapy startproject SpiderAnything 2.生成一个爬虫 itcash爬虫名字， itcash.cn爬虫范围 scrapy genspider it 阅读全文
摘要：
greenlet: 原生的协程包 pip3 install greenlet 价值一：高性能的原生协程 价值二：语义更加明确的显示切换 价值三：直接将函数包装成协程，保持代码风格 gevent: 阅读全文
|