市丸银

摘要： 一、items保存爬取的文件 items.py import scrapy class QuoteItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() text = scrapy 阅读全文

摘要： 爬取：http://quotes.toscrape.com 单页面 # -*- coding: utf-8 -*- import scrapy class QuoteSpider(scrapy.Spider): name = 'quote' allowed_domains = ['quotes.to 阅读全文

摘要： 介绍：大而全的爬虫组件 使用Anaconda conda install -c conda-forge scrapy 一、安装： windows 1.下载 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 耐心等待网页刷新 pip3 instal 阅读全文

摘要： requests：伪造浏览器请求 请求 1.get requests.get( url='', params={ 'k1': ''v1, 'k2': 'v2' } ) 即 url?k1=k2&k2=v2 2.post requests.post( url='', # data 提交的数据 data={key: value}, # 请求头 headeres={}， # cookies值需要从get请 阅读全文

摘要： 一、常识 二、示例 阅读全文

摘要： 安装 注册App 添加中间件必须放在最前面，因为要先解决跨域的问题。只有允许跨域请求，后续的中间件才会正常执行。 配置你可以选择不限制跨域访问 或者你可以选择设置允许访问的白名单 阅读全文

摘要： class BaseResponse: def __init__(self): self.code = 1000 self.data = None self.error = None @property def dict(self): return self.__dict__ 阅读全文

摘要： （1）安装tofrodos sudo apt-get install tofrodos （2）做一些优化 ln -s /usr/bin/todos /usr/bin/unix2dos ln -s /usr/bin/fromdos /usr/bin/dos2unix 第一种方法： cat -A filename 就可以看到Windows下的断元字符 ^M 要去除他，最简单用下面的命令： dos2un 阅读全文

摘要： 参考：https://www.cnblogs.com/wupeiqi/articles/5246483.html 一、信号：就是一些动作发生的时候，信号允许特定的发送者去提醒一些接受者 如：在执行sql语句前或后，记录一条日志 二、用法 1、位置 2、导入模块 3、自定义函数 4、注册 三、Djan 阅读全文

摘要： 基于select 作用：I/O多路复用是用于提升效率，单个进程可以同时监听多个网络连接IO。 server端 client端 主要作用：定制异步框架 阅读全文