摘要：
简介 Django继承并简化了MVC架构。MVC中的Controller部分基本全由Django完成。View部分被分割成两部分，即：负责HTML渲染的模板和负责显示逻辑的视图。所以Django又被称为MVT(Model-View-Template)框架。这个Django除了MVT框架的核心部分(O 阅读全文
摘要：
代理的基本原理和作用 1.基本原理 代理实际上指的是代理服务器(proxy server)。它的功能是代理网络用户去取得网络信息。形象地说，它是网络信息的中转站。在我们正常请求一个网站时，是发送了请求给web服务器，web服务器把响应传回给我们。如果设置了代理服务器，实际上就是在本机和服务器之间搭建 阅读全文
摘要：
爬虫就是获取网页并提取和保存信息的自动化程序 1.获取网页 爬虫首先要做的就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息。只要把源代码获取到，就可以从提取信息了。 向网站服务器发送一个请求，返回的响应体就是网页的源码。 2.提取信息 获取网页源码后，提取信息就是分析网页源码 阅读全文
摘要：
安装flask sudo pip3 install flask falsk最小应用 from flask import Flask app = Flask(__name__) @app.route('/') def hello_world(): return 'Hello World!' if __ 阅读全文
摘要：
MVC 大部分开发语言中都有MVC框架 MVC框架的核心思想是：解耦 降低各功能模块之间的耦合性，方便变更，更容易重构代码，最大程度上实现代码的重用 M表示model，主要用于对数据库层的封装 V表示view，用于向用户展示结果 C表示controller，是核心，用于处理请求、获取数据、返回结果 阅读全文
摘要：
1.功能 使用qrcode生成二维码 2.代码 #生成二维码： import qrcode #根据url生成二维码 def qrcodeWithUrl(url): img = qrcode.make(url) savePath = "1.png" img.save(savePath) #根据输入的文 阅读全文
摘要：
Matplotlib绘图一般用于数据可视化 1.常用的图表有： 折线图（坐标系图） 散点图/气泡图 条形图/柱状图 饼图 直方图 箱线图 热力图 折线图（坐标系图） 折线图用于显示随时间或有序类别的变化趋势 #载入matplotlib绘图库 import matplotlib.pyplot as p 阅读全文
摘要：
1.任务需求 百度贴吧有很多主题，每个主题下的网页存在很多分页。爬取不同的主题，并下载每个主题下的多页网页。 输入贴吧名称，下载相应贴吧的多页网页，设置最多下载50页。 2.分析网页 访问不同的百度贴吧时。尝试搜索多个贴吧，观察到浏览器的url中的kw为贴吧的名称。 因此，发送get请求时，设置不同 阅读全文
摘要：
CrawlSpider CrawlSpider类 CrawlSpider类常用于爬取一般的网站，其定义了一些规则（rule）来提供跟进链接的功能，使用非常方便。处理从Spider继承过来的属性外，还提供了一个新的属性ruels，该属性是一个过多个Rule对象的元组(list)，每个Rule都对爬取网 阅读全文
摘要：
Scrapy架构(各组件的功能)及Scrapy引擎控制数据流的过程 1. Scrapy架构图(绿线是数据流向)： □ Scrapy引擎(Engine)：引擎负责控制数据流在系统的所有组件中流动，并在相应动作发生时触发事件。 □ 调度器(Scheduler)：调度器从引擎接收Request并将它们入队 阅读全文