01 2024 档案
摘要：一、利用requests请求同步和aiohttp异步，两个结合来获取小说里的内容 1、先利用cookie和session来实现登录 根据post请求，带入参数来建立会话,并获取session 利用session来进行同步请求获取，每一章节的名称和链接地址 通过上面的图，发现在/html/body/d
阅读全文
摘要：一、网络背景 现场用的是一台CloudEngine S5731-H24P4XC和一台CloudEngine S5731-H48P4XC来跑分布式 问题1、两台交换机万兆口双芯的线序应该是接反导致两台数据不通，【双芯】 问题2、dir切换盒子视频切不过去，原因两台交换机基本都满载，万兆口带宽不够，采用
阅读全文
摘要：一、链接聚合 链路聚合（Eth-Trunk），是将多个物理接口捆绑为一个逻辑接口，实现增加链路带宽、提高可靠性、提供负载分担的目的。 SW1 [SW1]interface Eth-Trunk 1 [SW1-Eth-Trunk1]mode manual load-balance //选择为手动负载分担
阅读全文
摘要：一、什么是协程 在单线程中，一个线程在运行的过程中，如果遇到一些IO操作的时候，CPU会停止等待，此时线程会处于阻塞状态，为了更好的利用CPU， 当线程阻塞的时候，让线程去做其他的事情，从而提高CPU的利用率，如下面代码 import time def fun(): print("开始打印，然后休息
阅读全文
摘要：一、目的 利用多线程的方式爬取图片，地址：其他电脑动态壁纸 - 其他桌面动态壁纸 - 元气壁纸 (cheetahfun.com) 二、分析 F12分析网页结构，图片的地址都在class = "flex flex-wrap justify-between font-normal"标签中的li里面，只需
阅读全文
摘要：一、多线程 1、了解多线程之前，先了解一下单线程程，顾名思义就是一条流水线；看下面代码 def func(): for i in range(100): print('func',i) if __name__ =='__main__': func() for i in range(100): pri
阅读全文
摘要：一、图片是以Base64的url地址形式存在 在做爬虫的时候，发现图片URL地址是用data:image/jpeg;base64,开头的，如下图所示 部分开头样式如下：1、data:image/jpg; base64,2、data:image/png; base64,3、data:image/web
阅读全文
摘要：一、在使用pycharm的时候有时候会遇到编码问题 pycharm设置模板，每次创建文件都会默认在前面加上utf-8,操作如下 File Encoding中设置编码 二、设置编码
阅读全文
摘要：一、分析 要在地址https://www.pearvideo.com/video_1747820中下载视频，首先要找打视频的源地址，查看源代码未发现有源代码， 在元素中找，视频播放的时候，在<video>标签中找下载链接 注意：视频不播放，是看不到视频源地址的，把视频下载地址单独复制下来如下 src
阅读全文
摘要：一、以17k的小说网的登录为例，网址小说_17K小说网|最新小说下载-一起免费看小说 当想要在小说网中看一下书架上的书都有哪些，必须得先登录一个账户才能看到，不同的用户登录看到内容也是不一样的，服务器是如何区分的呢？ 这里要引入cookie，不同的用户访问到服务器的时候，除了访问地址外，会带cook
阅读全文
摘要：一、利用xpath来抓取图片 url地址是：唯美壁纸 - 唯美手机壁纸 - 唯美手机动态壁纸 - 元气壁纸 (cheetahfun.com) 数据解析方式xpath 二、分析 在浏览器中打开网页链接后，F12找到元素，可以看到图片的的内容可以在源代码中找到， 分析发现，每一个图片分别对应着一个li的
阅读全文
摘要：一、直入主题，使用方式 xpath解析原理： 1、实例化一个etree的对象，且需要讲被解析的页面源码数据加载到该对象中 2、调用etree对象中的xpath方法，结合着xpath表达式实现标签的定位和内容的获取环境的安装 安装lxml模块 pip install lxml pip install
阅读全文
摘要：一、目标 1、把头像图片下载到本地中：https://www.nanrentu.cc/txtp/ 2、根据每个组的标题创建文件夹，并把每组中的全部头像图片放到对应的文件夹中 二、思路 1、首先要先分析网页结果，通过分析发现，文件的名称其实就在<ul class = "h-piclist">标签下的u
阅读全文
摘要：一、目标 1、能够用bs4来抓取网络的文字、图片、音频、视频；音频和视频还没有爬取过，哈哈哈！ 2、爬取顶点小说中的一部非常好看的修仙类小说《凡人修仙传》链接：https://www.ddyueshu.com/1_1562/ 3、以前已经爬过一次了，再爬一次,记录一下过程 二、思路 1、直入正题，利
阅读全文
摘要：一、数据解析方式-bs4 1、 爬虫数据的解析常用方式有三种： 1、正则表达式 2、bs4 3、xpath解析 2、本次主要学习bs4，首先要先准备好环境，即要安装使用beautiful Soup，这里已经安装好了bs4模块，如下： pip install bs4 和 pip install lxm
阅读全文
摘要：一、学习目标 1、抓取豆电影中的最新热门电影；其中按照不同类型进行抓取 2、这里是get请求的方式 3、json文件元素的值获取 4、文件写入保存 二、解决思路 1、准备好url地址【https://movie.douban.com/】，按F12进行网页分析，从网页中可以得到请求方式为get，并且针
阅读全文
摘要：一、学习目标 1、通过百度翻译，输入一个关键字能够得到其翻译的结果，例如 二、解决思路 1、导入模块 import requests import json 2、准备url 【https://fanyi.baidu.com】，在表单中输入dog后，可以F12,然后网络中选择XHR，观察数据请求的过程
阅读全文
摘要：一、用一个实例来了解一下 1、既然要用BeautifulSoup来解析，首先要把需要的模块导入； import os import requests from bs4 import BeautifulSoup 2、创建一个文件夹来存放要下载的数据：文件的名可以用户自定义 file_name = "i
阅读全文
摘要：一、无论是流程图、条形图、折线图、饼状图都可以在插入--图表中找到 选中要修改的地方；都可以在设置格式中找到，并且添加动画效果，效果选项中进行设置 二、流程图gif实例 突出表现某一个步骤的内容： 1、把流程图的组合打散，2、把突出的内容调整比较明显，两个ppt直接套用平滑效果即可 三、用平滑效果，
阅读全文
摘要：新建空白幻灯片，并从配色网站【https://coolors.co/8ecae6-219ebc-023047-ffb703-fb8500】中下载色卡，并插入进来 设计--设置背景格式--颜色--取色器，拾取色卡的颜色；鼠标变成一个拾色器，【背景底图，图标颜色，依次按照色卡的顺序进行】 文字部分：插入
阅读全文
摘要：一、图表的动画绘制 效果如下 如何制作： 1、设计 设置背景格式--纯色填充--设置成灰色 2、视图--开启标尺、网格线功能--设置网格及参考线；目的是方便划线； 3、插入--形状--绘制线段；可以在形状格式中设置箭头方式、粗细、虚实等 4、插入--文本框 绘制垂直和竖直的文字 5、插入--形状--
阅读全文
摘要：如何制作带有背景视频动画和背景音乐的PPT 根据上面的图示；分两步操作： 1、首先获取文字+图片的相交部分【字体最好粗一点，大一点】 插入一个矩形框覆盖全部，并至于文字底部，按住ctrl一次选择填充的背景和文字，形状格式--合并形状--结合 2、插入背景音频和影片，并设置播放方式 注意事项: 1、艺
阅读全文
摘要：一、缩放定位演示 二、实现过程 插入-缩放定位--摘要缩放定位 选择摘要的目录页码即可 注意，要对摘要的内容进行划分章节（视图 幻灯片浏览 ctrl+右键新增章节）
阅读全文
