摘要:
requests模块 requests Python标准库中提供了:urllib、urllib2、httplib等模块以供Http请求,但是,它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务。 Requests 是使用 Apac 阅读全文
摘要:
利用爬虫模拟网页微信wechat 1.登录页面,显示二维码 当我们打开网页微信时,会看到一个用于扫码登录的二维码,所以我们要模拟该页面给我们的页面也弄一个二维码 通过查看网页代码我们发现,这个二维码的标签为 这个src属性的最后一段每次访问都是不同的,我们发现每次访问该页面时,会向后端发送请求获得这 阅读全文
摘要:
高性能爬虫相关(IO多路复用,异步非阻塞) 说到提高性能,我们可以想到的是利用多进程、多线程以及单线程实现并发,由于爬虫爬取信息时IO操作较多,所以利用单线程实现并发是较好的选择 爬虫本质上还是建立socket连接,通过http请求获取数据 本质: sk = socket() # 阻塞 sk.con 阅读全文
摘要:
Scrapy框架 简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates We 阅读全文
摘要:
scrapy-redis scrapy-redis是一个基于redis的scrapy组件,通过它可以快速实现简单分布式爬虫程序,该组件本质上提供了三大功能: scheduler - 调度器 dupefilter - URL去重规则(被调度器使用) pipeline - 数据持久化 下载 pip in 阅读全文
摘要:
flask信号 Flask框架中的信号基于blinker,其主要就是让开发者可是在flask请求过程中定制一些用户行为。 pip3 install blinker 1. 内置信号 request_started = _signals.signal('request-started') # 请求到来前 阅读全文
摘要:
flask多app应用(url进行处理和分发) from flask import Flask from werkzeug.wsgi import DispatcherMiddleware from werkzeug.serving import run_simple app01 = Flask(' 阅读全文
摘要:
flask-migrate 作用:做数据库迁移依赖:flask-script flask-sqlalchemy 使用 项目结构 manage.py(其它文件内容与flask-sqlalchemy中一样) from s8day130_pro import create_app,db from flas 阅读全文
摘要:
在使用flask-session,flask-sqlalchemy等组件时,我们发现都是导入以后实例化一个类,并将app传入进行使用,或者先实例化一个对象,再利用对象的init_app方法将app传入使用 from flask import request,session,redirect clas 阅读全文
摘要:
flask-sqlalchemy(包含离线脚本,with在上下文管理的应用) 将SQLAlchemy相关的所有功能都封装到db=flask_sqlalchemy.SQLAlchemy()对象中 - 创建表class User(db.Model):pass - 操作表db.session 具体使用 项 阅读全文