随笔分类 - 2024寒假学习进度
摘要：高性能异步爬虫 目的：在爬虫中使用异步实现高性能的数据爬取 异步爬虫的方式： - 多线程，多进程（不建议） 好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行 弊端：无法无限制的开启多线程或者多进程 - 线程池 进程池 好处：我们可以降低创建线程和销毁线程的频率，从而降低系统的开
阅读全文
摘要：from lxml import etree import requests #爬取所有城市名称 if __name__ == '__main__': url = 'https://www.aqistudy.cn/historydata/' headers = { 'User-Agent':'Moz
阅读全文
摘要：from lxml import etree import requests import os # 爬取彼岸图库中的图片数据 if __name__ == '__main__': #爬取到页面源码数据 url = 'https://pic.netbian.com/4kmeinv/' headers
阅读全文
摘要：from lxml import etree import requests # 爬取58二手房 if __name__ == '__main__': #爬取到页面源码数据 url = 'https://m.58.com/bj/ershoufang/?reform=pcfront&PGTID=0d0
阅读全文
摘要：笔记 xpath解析原理： - 数据解析原理： -1.实例化一个etree对象，且将页面源码数据加载到该对象中 -2.调用etree对象中xpath方法，编写xpath表达式，提取数据 - 环境安装： - pip install lxml - 实例化一个etree对象: from lxml impo
阅读全文
摘要：bs4解析原理： - 数据解析原理： -1.标签定位 -2.提取标签，标签属性中存储的数据值 - bs4数据解析的原理： -1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中 -2.通过调用BeautifulSoup对象中相关的属性或者方法，就可以获取页面中需要解析的数据
阅读全文
摘要：import requests import os import re if __name__ == '__main__': # 创建一个文件夹，保存所有的图片 if not os.path.exists("./pictureS"): os.mkdir("./pictureS") # 解析图片的ur
阅读全文
摘要：import requests if __name__ == '__main__': url = 'https://5b0988e595225.cdn.sohucs.com/images/20200102/59a5cc9a208249c6b4a58a8287f50485.jpeg' img_data
阅读全文
摘要：数据解析分类： --正则 --bs4 --xpath 数据解析的原理： --解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储 --1.进行指定标签的定位 --2.标签或者标签对应的属性中存储的数据值进行提取（解析）
阅读全文
摘要：import requests import json if __name__ == '__main__': #制定url url = 'https://movie.douban.com/j/chart/top_list' params = { 'type':'24', 'interval_id':
阅读全文
摘要：--需求：破解百度翻译 --对应的请求是post请求 （携带了参数） --响应数据是一组json数据 代码 import requests import json if __name__ == '__main__': #制定url post_url = 'https://fanyi.baidu.co
阅读全文
摘要：#UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求载体的身份标识为某一款浏览器，说明是正常用户通过浏览器发起的正常的请求 # 如果检测到非浏览器发起的请求，则表示请求可能为不正常的请求（爬虫），那么有可能就会拒绝该请求 #UA：User-Agent：（请求身份载体的身份标识）
阅读全文
摘要：笔记 requests模块 - urllib模块 - requests模块 request模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 作用：模拟浏览器发请求。 如何使用：(requests模块的编码流程) - 指定url - 发起请求 - 获取响应数据 -
阅读全文
摘要：爬虫分类： 通用爬虫：抓取系统重要组成部分，抓取的是一个整张页面的数据 聚焦爬虫：是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容 增量式爬虫：检测网站中数据更新的情况，指挥抓取网站中最新更新出来的数据 爬虫的矛与盾： 反爬机制 门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行
阅读全文
摘要：object test3 { case class student(id: String, gender: String, score: Map[String, Int]) //读取文件的方法： def inputStudentList(filename: String): List[student
阅读全文
摘要：case class Point(var x:Double,var y:Double) extends Drawable{ def shift(deltaX:Double,deltaY:Double): Unit = { x+=deltaX; y+=deltaY } } trait Drawable
阅读全文
摘要：import scala.io.StdIn.readLine object test1 { def main(args: Array[String]): Unit = { val q = readLine("请输入一个大于0的数：").toDouble val result = calculateS
阅读全文
摘要：AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL 这个是网址 在算例市场中挑选自己想要的配置 选好之后 点击1卡可租 在这有基础镜像 社区镜像 我的镜像 三种 基础镜像就是选择你自己的环境 假如你用的是python 可以选择第一种 然后运行这些命令就可以了 社区镜像主要就是针对Gi
阅读全文
摘要：运用的是so-vits-svc这个项目 但是遇到的问题就是 自己的电脑配置有点低 在跑的时候显存爆了 所以跑不下去 解决的办法： 租用的算力云平台的服务器（在我的学习文件夹中 会出一期教程） 最后训练出了模型
阅读全文
