摘要: 一、BeautifulSoup的简单使用 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下: Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱,通过解析文档为用户提供需要抓取 阅读全文
posted @ 2023-10-09 09:13 生而自由爱而无畏 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 数据解析之re正则表达式 1. 正则基础 1.1 为什么使用正则 需求 判断一个字符串是否是手机号 解决 编写一个函数,给函数一个字符串,如果是手机号则返回True,否则返回False 代码 def isPhone(phone): # 长度为11 # 全部都是数字字符 # 以1开头 pass if 阅读全文
posted @ 2023-10-08 17:56 生而自由爱而无畏 阅读(109) 评论(0) 推荐(0) 编辑
摘要: python基础内容 ## 1. 关于爬虫的特殊性 爬虫是一个很蛋疼的东西, 可能今天讲解的案例. 明天就失效了. 所以, 不要死盯着一个网站干. 要学会见招拆招(爬虫的灵魂) 爬虫程序如果编写的不够完善. 访问频率过高. 很有可能会对服务器造成毁灭性打击, 所以, 不要死盯着一个网站干. 请放慢你 阅读全文
posted @ 2023-10-08 12:09 生而自由爱而无畏 阅读(389) 评论(0) 推荐(0) 编辑
摘要: 1. 常见的反爬虫和应对方法? 1. 基于身份识别进行反爬 (1) 用户请求的headers - headers知识补充: - host:提供了主机名及端口号 - Referer 提供给服务器客户端从那个页面链接过来的信息(有些网站会据此来反爬) - Origin:Origin字段里只包含是谁发起的 阅读全文
posted @ 2023-10-08 09:59 生而自由爱而无畏 阅读(255) 评论(0) 推荐(0) 编辑
摘要: 1. 对称加密 所谓对称加密就是加密和解密用的是同一个秘钥. 也称为共享密钥加密算法,是一种将明文加密成密文的加密算法。其特点是加密和解密使用相同的密钥,也就是说,密钥是公开的,双方通过协商得到同一个密钥,然后使用该密钥对明文进行加密和解密操作。 对称加密算法的优点是算法简单、加密解密速度快,适合对 阅读全文
posted @ 2023-10-08 09:53 生而自由爱而无畏 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 1. URLEncode和Base64 在我们访问一个url的时候总能看到这样的一种url https://www.sogou.com/web?query=%E5%90%83%E9%A5%AD%E7%9D%A1%E8%A7%89%E6%89%93%E8%B1%86%E8%B1%86&_asf=www 阅读全文
posted @ 2023-10-08 09:46 生而自由爱而无畏 阅读(122) 评论(0) 推荐(0) 编辑
摘要: # MD5算法 在我们进行js逆向的时候. 总会遇见一些我们人类无法直接能理解的东西出现. 此时你看到的大多数是被加密过的密文. MD5是一个非常常见的摘要(hash)逻辑. 其特点就是小巧. 速度快. 极难被破解. 所以, md5依然是国内非常多的互联网公司选择的密码摘要算法. 1. 这玩意不可逆 阅读全文
posted @ 2023-10-08 09:39 生而自由爱而无畏 阅读(91) 评论(0) 推荐(0) 编辑
摘要: ##### 05 Ajax请求(扩展,延伸) 首先, 我们用Flask创建一个后台服务器(自己做网站了哈) 目录结构: ![image](https://img2023.cnblogs.com/blog/2595693/202308/2595693-20230828171329441-1496948 阅读全文
posted @ 2023-08-28 17:19 生而自由爱而无畏 阅读(11) 评论(0) 推荐(0) 编辑
摘要: ##### 04 jQuery遍历器 如果jQuery一次性选择了很多元素节点. 而我们又希望能拿到每一个元素中的相关信息. 此时可以考虑用jQuery的遍历器来完成对元素的循环遍历。 例如: ```html Title 吃饭 睡觉 打豆豆 吹牛 ``` 阅读全文
posted @ 2023-08-28 17:10 生而自由爱而无畏 阅读(6) 评论(0) 推荐(0) 编辑
摘要: ##### 03 jQuery属性控制 属性相关的控制主要有以下几个功能 ``` val() => 处理value属性 text() => 处理innerText html() => 处理innerHTML attr() => 处理所有属性的 css() => 处理所有css样式的 ``` 仔细看下 阅读全文
posted @ 2023-08-28 17:07 生而自由爱而无畏 阅读(7) 评论(0) 推荐(0) 编辑