摘要: 当需要创建子进程数量不多的时候,可以直接利用multiprocessing中的Process动态生成多个进程 但是如果是成百甚至上千个任务,手动地创建它的工作量很大,此时就可以利用到multiprocessing下的pool 初始化Pool时,可以指定一个最大的进程数,当有新的请求提交到Pool中时 阅读全文
posted @ 2018-07-10 14:23 doitjust 阅读(180) 评论(0) 推荐(0)
摘要: 1 import matplotlib.pyplot as plt 2 plt.rcParams['font.family'] = ['Arial Unicode MS', 'Microsoft Yahei', 'SimHei', 'sans-serif'] 3 4 5 x = [-15,-5,0,5,8,10] 6 7 a = 2 8 b = 10 9 10 ... 阅读全文
posted @ 2018-07-10 14:18 doitjust 阅读(311) 评论(0) 推荐(0)
摘要: 简介 Django继承并简化了MVC架构。MVC中的Controller部分基本全由Django完成。View部分被分割成两部分,即:负责HTML渲染的模板和负责显示逻辑的视图。所以Django又被称为MVT(Model-View-Template)框架。这个Django除了MVT框架的核心部分(O 阅读全文
posted @ 2018-07-08 16:04 doitjust 阅读(3831) 评论(0) 推荐(0)
摘要: 代理的基本原理和作用 1.基本原理 代理实际上指的是代理服务器(proxy server)。它的功能是代理网络用户去取得网络信息。形象地说,它是网络信息的中转站。在我们正常请求一个网站时,是发送了请求给web服务器,web服务器把响应传回给我们。如果设置了代理服务器,实际上就是在本机和服务器之间搭建 阅读全文
posted @ 2018-07-07 00:57 doitjust 阅读(1301) 评论(0) 推荐(0)
摘要: 爬虫就是获取网页并提取和保存信息的自动化程序 1.获取网页 爬虫首先要做的就是获取网页,这里就是获取网页的源代码。源代码里包含了网页的部分有用信息。只要把源代码获取到,就可以从提取信息了。 向网站服务器发送一个请求,返回的响应体就是网页的源码。 2.提取信息 获取网页源码后,提取信息就是分析网页源码 阅读全文
posted @ 2018-07-07 00:40 doitjust 阅读(192) 评论(0) 推荐(0)
摘要: 安装flask sudo pip3 install flask falsk最小应用 from flask import Flask app = Flask(__name__) @app.route('/') def hello_world(): return 'Hello World!' if __ 阅读全文
posted @ 2018-07-07 00:18 doitjust 阅读(248) 评论(0) 推荐(0)
摘要: MVC 大部分开发语言中都有MVC框架 MVC框架的核心思想是:解耦 降低各功能模块之间的耦合性,方便变更,更容易重构代码,最大程度上实现代码的重用 M表示model,主要用于对数据库层的封装 V表示view,用于向用户展示结果 C表示controller,是核心,用于处理请求、获取数据、返回结果 阅读全文
posted @ 2018-07-06 23:52 doitjust 阅读(379) 评论(0) 推荐(0)
摘要: 1.功能 使用qrcode生成二维码 2.代码 #生成二维码: import qrcode #根据url生成二维码 def qrcodeWithUrl(url): img = qrcode.make(url) savePath = "1.png" img.save(savePath) #根据输入的文 阅读全文
posted @ 2018-07-06 23:47 doitjust 阅读(219) 评论(0) 推荐(0)
摘要: Matplotlib绘图一般用于数据可视化 1.常用的图表有: 折线图(坐标系图) 散点图/气泡图 条形图/柱状图 饼图 直方图 箱线图 热力图 折线图(坐标系图) 折线图用于显示随时间或有序类别的变化趋势 #载入matplotlib绘图库 import matplotlib.pyplot as p 阅读全文
posted @ 2018-07-06 23:39 doitjust 阅读(270) 评论(0) 推荐(0)
摘要: 1.任务需求 百度贴吧有很多主题,每个主题下的网页存在很多分页。爬取不同的主题,并下载每个主题下的多页网页。 输入贴吧名称,下载相应贴吧的多页网页,设置最多下载50页。 2.分析网页 访问不同的百度贴吧时。尝试搜索多个贴吧,观察到浏览器的url中的kw为贴吧的名称。 因此,发送get请求时,设置不同 阅读全文
posted @ 2018-07-06 23:04 doitjust 阅读(289) 评论(0) 推荐(0)