摘要: 1 from PIL import Image, ImageDraw, ImageFont, ImageFilter 2 from flask import make_response 3 from flask import render_template 4 from flask import r 阅读全文
posted @ 2021-08-17 23:30 千叶千影 阅读(221) 评论(0) 推荐(0) 编辑
摘要: 1.自定义分页类的封装: 1 class Pagination(object): 2 """ 3 基于bootstrap样式的自定义分页类的封装 4 """ 5 # page_num为每页显示的数量,max_page_num为每页显示的总页码数 6 def __init__(self, reques 阅读全文
posted @ 2021-08-10 11:21 千叶千影 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 1.Flask-Migrate的使用 flask-migrate相关配置: 1 from Application import app 2 from common.models.model import db 3 from flask_migrate import Migrate, MigrateC 阅读全文
posted @ 2021-07-20 15:35 千叶千影 阅读(2730) 评论(1) 推荐(0) 编辑
摘要: 1.自定义序列化 Result={} # 序列化 def serializer(self, obj_list): result = [obj.__dict__ for obj in obj_list] for res in result: res.pop('_sa_instance_state') 阅读全文
posted @ 2021-07-20 10:21 千叶千影 阅读(327) 评论(0) 推荐(1) 编辑
摘要: 1.前言 在学习flask_jwt_extended插件的时候遇到许多问题,究其原因是因为版本问题,4.0以后的版本在语法上做了许多优化,而我是参考较低版本的flask_jwt_extended学习的,一开始不明白出问题的原因,所以参考了许许多多博友的思路和写法,发现并没有问题,后来想到去看官方的文 阅读全文
posted @ 2021-07-17 18:55 千叶千影 阅读(1502) 评论(1) 推荐(1) 编辑
摘要: 一、Linux上安装scrapyd 1. linux下安装python3 可参考我之前博文:https://www.cnblogs.com/Liu928011/p/14864190.html 2. 安装scrapyd并配置软链接 安装scrapyd:pip3 install scrapyd 配置软链 阅读全文
posted @ 2021-07-11 23:13 千叶千影 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 什么是分布式爬虫 分布式爬虫就是多台计算机上都安装爬虫程序,重点是联合采集。单机爬虫就是只在一台计算机上的爬虫。 其实搜索引擎都是爬虫,负责从世界各地的网站上爬取内容,当你搜索关键词时就把相关的内容展示给你,只不过他们那都是灰常大的爬虫,爬的内容量也超乎想象,也就无法再用单机爬虫去实现,而是使用分布 阅读全文
posted @ 2021-07-11 22:35 千叶千影 阅读(329) 评论(0) 推荐(0) 编辑
摘要: 一、协程的定义 协程又叫微线程,比线程还要小的一个单位;协程不是计算机提供的,是程序员自己创造出来的;协程是一个用户态的上下文切换技术,简单来说,就是通过一个线程去实现代码块(函数)之间的相互切换执行。 二、协程的特点 1. 使用协程时不需要考虑全局变量安全性的问题。 2. 协程必须要在单线程中实现 阅读全文
posted @ 2021-07-11 12:43 千叶千影 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 项目简介:爬取猫眼电影中所有影人的信息,包括其中文名、英文名、职业、生日、身高、代表作、粉丝数、和累计票房数,并保存至MongoDB数据库中。 项目难点一:粉丝数和累计票房数的CSS字体加密破解。 项目难点二:爬取过程中出现滑块验证码的破解。 项目思路分析:爬取所有影人信息,在这里采用传统的分页式爬 阅读全文
posted @ 2021-07-10 23:58 千叶千影 阅读(494) 评论(0) 推荐(0) 编辑
摘要: 在使用 Python 做爬虫的时候,我们需要伪装头部信息骗过网站的防爬策略,Python 中的第三方模块 fake_useragent 就很好的解决了这个问题,它将给我们返回一个随机封装了好的头部信息,我们直接使用即可 fake_useragent的安装 pip install fake_usera 阅读全文
posted @ 2021-07-05 19:50 千叶千影 阅读(740) 评论(0) 推荐(0) 编辑