摘要：bs4 实例化BeautifulSoup对象：BeautifulSoup('page_text', 'lxml') 将页面源码加载到对象中 使用该对象的相关属性和方法实现标签定位和数据提取 相关方法： bs4爬取三国演义示例 阅读全文

摘要：requests的get和post常用参数： url headers data/params proxies 基础使用 1.搜狗主页 2.搜索 3.百度翻译 cookie相关 处理cookie方式 ·手动处理：cookie有有效时长，并且可能是动态变化的 ·自动处理：使用会话对象Session Se 阅读全文

摘要：关于包和模块（1）模块：是一个单独的.py文件，用于存放一些功能相关的代码，可以是代码更加容易维护，提高代码的重用价值（2）包：是一个有层级的目录结构，包含n个模块或者n个子包，包中一定要有__init__.py文件（3）库：是完成一定功能的代码集合，表现形式是一个模块，或包（4）框架：是一个架构层 阅读全文

摘要：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文

摘要：1.中间件概述 （1）中间件是一个用来处理Django的请求和响应的框架级别的钩子。它是一个轻量、低级别的插件系统，用于在全局范围内改变Django的输入和输出。每个中间件组件都负责做一些特定的功能。说的直白一点中间件是帮助我们在视图函数执行之前和执行之后都可以做一些额外的操作，它本质上就是一个自定 阅读全文