随笔分类 - Python
字体反爬个人心得
摘要：这里拿四个网站举例吧，应该涵盖了目前字体加密的80%了吧，还有什么网站也可以留言我后面看 1.入门菜，最基础的字体加密 第一种字体加密是最原始的，他的字体规则是一套固定的样式，不会随着网页的改变而改变，我愿将之称为“静态字体加密“(狗头) 例子：实习僧 https://www.shixiseng.c
使用selenium被识别的解决方法
摘要：之前一直在纠结怎么绕过，知道看到这位大佬写的，阅读数少的可怜，转载一下让更多人看到 https://www.cnblogs.com/presleyren/p/12936553.html 但是大佬的这个方法还是存在一些问题的 我测试了一下其实网站后台可能还是会将你识别为爬虫导致一些翻页操作无法执行，或
使用python发送QQ邮件，以及添加附件
摘要：这里以QQ邮箱为例子，显示步骤 打开邮箱依次点击--设置--账户，往下翻找到SMTP服务，点击打开即可，之后你会获得一串授权码，将它保存记录好，之后会用到 首先我们发一条简单邮件 import smtplib from email.mime.text import MIMEText sender =
selenium.common.exceptions.JavascriptException: Message: javascript error: Cannot set property 'playbackRate' of null的解决
摘要：先给结论：selenium执行JS的getElement时需要考虑到Frame切换 当我使用selenium去执行JS时发生以上报错，意思是playbackRate该属性不能设置为空，这就奇怪了，我给它赋值了呀 在游览器中的控制台执行可以成功，所以排除掉是我JS代码的问题 最终发现原来在seleni
爬取拉勾网
摘要：爬取的url：https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput= 爬取职位名称，薪水，公司，待遇这些 抓包，找到信息加载为一个post请求返回 查看他携带的数据，里面是关键字(python)和页数(
爬取有道翻译
摘要：url：http://fanyi.youdao.com/ f12抓包 有4个加密参数 ctrl + shift +f，搜索salt，找到他的加密过程 可以看到r代表当前时间，i为当前时间 +上一个随机整数 t为版本信息，所以t这个参数其实是一直不变的，直接复制上就行 sign:明显是将 两端字符串和
fiddler怎么抓包手机
摘要：我最近在群里面看很多人问fiddler怎么抓手机的包，那就写一个吧 第一步打开Tools，点击options 然后按如下设置就可以了，询问是否安装证书点yes 设置好后在手机wifi里设置代理ip 代理主机名这样获取：打开cmd，输入命令ipconfig /all 端口号必须和你fiddler，这里
爬取up主的所有视频弹幕
摘要：前时间爬了一个视频的弹幕，只爬一个视频没意义，所以我们来爬所有的。完整代码在最后。 这里我以科技美学为例啊（因为每天都看）主页链接：https://space.bilibili.com/3766866/video 我们先来尝试获取某一个视频的弹幕，打开这个url，f12，进入开发者模式 视频链接：h
用wordcloud做一张简单词云图
摘要：第一步，生成一张最简单的词云图 1 from wordcloud import WordCloud 2 import matplotlib.pyplot as plt 3 #读取一个文本 4 txt = open('1.txt',encoding='utf-8').read() 5 #创建一个wor
爬取B站用户资料
摘要：https://space.bilibili.com/1 https://space.bilibili.com/2 点击这两个url，你会发现b站不同用户主页只有最后面的那个数字是不同的，我试了下大概有5亿多注册的，我们来获取他的关注，粉丝，获赞，播放这类基本信息 第一步请求该url 1 url =
用爬虫实现AI换脸，颜值评分
摘要：自己写人脸识别算法的都是大神，作为一名小白我们可以去调用那些现成的API接口。比如旷世就对外提供接口。 而且还免费，只要注册一个账号就可以用了 先直接上代码吧！ import requests,json,lxml,osfrom lxml import etree from urllib import
爬取淘宝“手机信息”
摘要：打开淘宝，我们搜索手机，返回以下界面 接下来我们来爬取这些数据 第一步我们先获取网页html html = requests.get(url,headers=headers) print(html.text) 将结果打印后发现所需要的信息在网页代码中没有，所以它应该是动态加载的，这里再network
在游览器中xpath匹配成功，代码中匹配缺为空的原因和解决
摘要：一。代码不同导致 问题是这样的，在游览器中我们写的xpath完美匹配到了我们想要的内容，可是在python代码中运行的时候返回值缺为空 这代表我们的匹配规制实质上是失败了的，但这是为什么呢？ 于是我使用get请求，并打印我得到的html代码，和网页代码比较后终于找到问题的原因 可以看到这里的clas
爬取豆瓣电影Top250和和豆瓣图书
摘要：豆瓣电影top250url：https://movie.douban.com/top250?start=0&filter= 首先f12进入检查CTRL +shift +c定位到标题 可以看到电影标题在<a>标签下，所以我们只要定位到a标签下就可以了，我们找到<a>标签的最上一级标签<div>标签属性
pygame实现的《躲小球》
摘要：pygame安装 pip install pygame 在CMD中输入python -m pygame.examples.aliens可以看到一个自带的pygame的演示小游戏 学了几天pygame，那就实践一下吧，如图实现玩家操控小鸟躲避小球的游戏，当碰撞到小球游戏结束，关闭游戏 所以我们需要实现
下载python库时的常见问题与解决方案
摘要：第一种：read time out 解决：以pygame为例 使用pip --default-timeout=100 install -U pygame 第二种：版本匹配错误，或缺少相应组件 解决：第一步win+cmd输入python查看自己安装的python版本 如上图代表的是python3.8的
