摘要：
requests模块 requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apac 阅读全文
摘要：
利用爬虫模拟网页微信wechat 1.登录页面，显示二维码 当我们打开网页微信时，会看到一个用于扫码登录的二维码，所以我们要模拟该页面给我们的页面也弄一个二维码 通过查看网页代码我们发现，这个二维码的标签为 这个src属性的最后一段每次访问都是不同的，我们发现每次访问该页面时，会向后端发送请求获得这 阅读全文
摘要：
高性能爬虫相关（IO多路复用，异步非阻塞） 说到提高性能，我们可以想到的是利用多进程、多线程以及单线程实现并发，由于爬虫爬取信息时IO操作较多，所以利用单线程实现并发是较好的选择 爬虫本质上还是建立socket连接，通过http请求获取数据 本质： sk = socket() # 阻塞 sk.con 阅读全文
摘要：
Scrapy框架 简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates We 阅读全文
摘要：
scrapy-redis scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 下载 pip in 阅读全文
摘要：
flask信号 Flask框架中的信号基于blinker，其主要就是让开发者可是在flask请求过程中定制一些用户行为。 pip3 install blinker 1. 内置信号 request_started = _signals.signal('request-started') # 请求到来前 阅读全文
摘要：
flask多app应用（url进行处理和分发） from flask import Flask from werkzeug.wsgi import DispatcherMiddleware from werkzeug.serving import run_simple app01 = Flask(' 阅读全文
摘要：
flask-migrate 作用：做数据库迁移依赖：flask-script flask-sqlalchemy 使用 项目结构 manage.py（其它文件内容与flask-sqlalchemy中一样） from s8day130_pro import create_app,db from flas 阅读全文
摘要：
在使用flask-session，flask-sqlalchemy等组件时，我们发现都是导入以后实例化一个类，并将app传入进行使用，或者先实例化一个对象，再利用对象的init_app方法将app传入使用 from flask import request,session,redirect clas 阅读全文
摘要：
flask-sqlalchemy(包含离线脚本，with在上下文管理的应用) 将SQLAlchemy相关的所有功能都封装到db=flask_sqlalchemy.SQLAlchemy()对象中 - 创建表class User(db.Model):pass - 操作表db.session 具体使用 项 阅读全文