摘要：
1、打开cmd安装pipenv, pip install pipenv 2、新建工程目录，项目目录，然后cmd进入工程目录 基本命令： pipenv install 创建虚拟环境 pipenv shell 进入虚拟环境（如果不存在，则创建并进入虚拟环境） pipenv install flask 安 阅读全文
摘要：
知乎优质话题 https://www.zhihu.com/question/22347972 阅读全文
摘要：
Scrapy-Redis 详解 通常我们在一个站站点进行采集的时候，如果是小站的话 我们使用scrapy本身就可以满足。 但是如果在面对一些比较大型的站点的时候，单个scrapy就显得力不从心了。 要是我们能够多个Scrapy一起采集该多好啊 人多力量大。 很遗憾Scrapy官方并不支持多个同时采集 阅读全文
摘要：
创建scrapy工程项目，除了爬虫文件中的代码需要略微修改，其他模块用法相同（如中间件，管道等）； 爬虫文件代码流程 导入链接提取器 from scrapy.linkextractors import LinkExtractor 导入规则解析器 from scrapy.spiders import 阅读全文
摘要：
selenium可以用来完成浏览器自动化相关的操作，写一些代码制定一些基于浏览器自动化的相关操作（行为动作），当代码执行后，浏览器就会自动触发相关的事件 安装方法: pip install selenium 下载对应浏览器的驱动程序 谷歌浏览器驱动下载地址： https://chromedriver 阅读全文
摘要：
1、增加并发线程开启数量 settings配置文件中，修改CONCURRENT_REQUESTS = 100,默认为32，可适当增加； 2、降低日志级别 运行scrapy时会产生大量日志占用CPU，为减少CPU使用率，可修改log输出级别 settings配置文件中LOG_LEVEL='ERROR' 阅读全文
摘要：
安装方式 pip install pymysql 阅读全文
摘要：
linux版本安装 pip3 install scrapy 安装完成 windows版本安装 安装完成 创建scrapy工程项目 1、cmd切换到准备创建的项目目录 2、执行创建命令：scrapy startproject 项目名称 ps:项目名称必须以字母开头，只能包含数字、字母、下划线 创建好后 阅读全文
摘要：
使用模型创建表单 django提供了这种简便的方式，使用方法如下： 1、在项目的一个app目录中，创建forms.py文件 2、导入模块： from django import forms from crm import models 3、forms.py文件： 阅读全文
摘要：
最近在学习胡阳老师（the5fire）的《Django企业级开发实战》，想要使用pycharm创建django项目时，在使用virtualenv创建虚拟环境后，在pycharm内，无论如何都无法导入正确的环境。通常是提示 django is not importable in this enviro 阅读全文