爬虫介绍
介绍#
爬虫指爬取网络资源，如：视频，音乐，资料等
python写爬虫，代码简洁，其他语言也可以做爬虫
- 善意的爬虫，不破坏被爬取的网站的资源（正常访问，一般频率不高，不窃取用户隐私）
- 恶意的爬虫，影响网站的正常运营（抢票，秒杀，疯狂solo网站资源造成网站岩机）
robots.txt协议：
君子协议。规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取。(只是一个协议，不会拦截爬虫)
示例#
from urllib.request import urlopen
url = 'https://baidu.com'
resp = urlopen(url)
# b'<!DOCTYPE html><!--STATUS OK--><html><head><meta...'表示字节串（字节串以b开头）
# resp.read().decode：将字节串解码为字符串
content = resp.read().decode("utf-8")
print(content)
with open('百度搜索.html', 'w', encoding="utf-8") as f:
f.write(content)
作者：cloud-2-jane
出处：https://www.cnblogs.com/cloud-2-jane/articles/18612898
版权：本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 10年+ .NET Coder 心语，封装的思维：从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热？
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源！
· 周边上新：园子的第一款马克杯温暖上架