摘要： 背景 爬虫程序，又称为网络爬虫或爬虫（spider），是一种自动化程序，主要用于向网站或网络发起请求，获取资源后分析并提取有用数据。从技术层面来看，爬虫程序通过模拟浏览器请求站点的行为，把站点返回的HTML代码、JSON数据、二进制数据（如图片、视频）爬取到本地，进而提取并存储自己需要的数据。 爬虫 阅读全文