2016年5月27日
为何大量网站不能抓取?爬虫突破封禁的6种常见方法
摘要： 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 HTML 表单或其他网页文件），然后对数据进行解析，提取需要的信息。 本文 阅读全文
posted @ 2016-05-27 10:17 heart.. 阅读(194968) 评论(25) 推荐(24) 编辑