凫弥 - 博客园

2023年3月25日

摘要： scrapy模拟登陆&分页一、模拟登陆学习目标：应用 scrapy直接携带cookie模拟登陆的方法应用 scrapy.FormRequest()发送post请求进行登陆 1、回顾之前的模拟登陆的方法 1.1 requests模块是如何实现模拟登陆的？直接携带cookies请求页面找ur 阅读全文

posted @ 2023-03-25 10:04 凫弥阅读(199) 评论(0) 推荐(0) 编辑

Redis数据库

摘要： Redis数据库 Redis 简介 Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis与其他 key- value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支阅读全文

posted @ 2023-03-25 09:37 凫弥阅读(339) 评论(0) 推荐(0) 编辑

mysql数据库

摘要： MySQL数据库一、MySQL数据库的介绍 1、发展史 1996年，MySQL 1.0 2008年1月16号 Sun公司收购MySQL。 2009年4月20，Oracle收购Sun公司。 MySQL是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言--结构化查询语言（阅读全文

posted @ 2023-03-25 09:22 凫弥阅读(155) 评论(0) 推荐(0) 编辑

selenium使用

摘要： selenium 一、前期准备 1、概述 selenium本身是一个自动化测试工具。它可以让python代码调用浏览器。并获取到浏览器中加载的各种资源。我们可以利用selenium提供的各项功能。帮助我们完成数据的抓取。 2、学习目标掌握 selenium发送请求，加载网页的方法掌握 sel 阅读全文

posted @ 2023-03-25 08:57 凫弥阅读(99) 评论(0) 推荐(0) 编辑

2023年3月24日

抓取m3u8视频

摘要：抓取m3u8视频 1、思路分析视频url：https://www.9tata.cc/play/96310-4-0.html 打开网址分析当前视频是由多个片段组成还是单独一个视频如果是一个单独视频，则找到网址，直接下载即可，如果为多个片段的视频，则需要找到片段的文件进行处理，本案例以m3u8为例阅读全文

posted @ 2023-03-24 19:52 凫弥阅读(966) 评论(0) 推荐(0) 编辑

协程

摘要：一、协程概念 1.什么是协程？协程又称微线程(纤程)，是一种用户态的轻量级线程子程序在所有的语言中都是层级调用的，比如A中调用B，B在执行过程中调用C，C执行完返回，B执行完返回，最后是A执行完毕。这是通过栈实现的，一个函数就是一个执行的子程序，子程序的调用总是有一个入口、一次返回，调用的阅读全文

posted @ 2023-03-24 19:45 凫弥阅读(42) 评论(0) 推荐(0) 编辑

多线程

摘要：一、线程 1、概念线程在一个进程的内部，要同时干多件事，就需要同时运行多个“子任务”，我们把进程内的这些“子任务”叫做线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同阅读全文

posted @ 2023-03-24 17:33 凫弥阅读(47) 评论(0) 推荐(0) 编辑

多进程

摘要：高效编程一、多任务原理概念现代操作系统比如Mac OS X，UNIX，Linux，Windows等，都是支持“多任务”的操作系统什么叫多任务？就是操作系统可以同时运行多个任务单核CPU实现多任务原理操作系统轮流让各个任务交替执行，QQ执行2us（微秒），切换到微信，在执行2us，再切换阅读全文

posted @ 2023-03-24 16:26 凫弥阅读(78) 评论(0) 推荐(0) 编辑

2023年3月18日

urllib与requests

摘要：前情摘要一、web请求全过程剖析我们浏览器在输入完网址到我们看到网页的整体内容, 这个过程中究竟发生了些什么? 我们看一下一个浏览器请求的全过程接下来就是一个比较重要的事情了. 所有的数据都在页面源代码里么? 非也~ 这里要介绍一个新的概念那就是页面渲染数据的过程, 我们常见的页面渲染过程有阅读全文

posted @ 2023-03-18 10:42 凫弥阅读(54) 评论(0) 推荐(0) 编辑

xpath解析

摘要： xpath 1、xpath安装与使用安装安装lxml库 pip install lxml -i pip源 2、解析流程与使用 from lxml import etree # 解析本地HTML文件 # parser = etree.HTMLParser(encoding="utf-8") # t 阅读全文

posted @ 2023-03-18 10:21 凫弥阅读(74) 评论(0) 推荐(0) 编辑

fuminer

公告