2016年9月5日
使用多个代理IP爬某投资机构的公司信息
摘要： 使用requests+beautifulsoup4爬取某网站的项目信息，此网站比较复杂，所需的数据在6个不同网页中，每抓取一条数据需要打开6个不同网页取数据，然后保存在某一条数据的数据字典中。某些数据有多条，而且每一条有可能还需要细分，所有数据格式层级非常多，最多有5层数据。此网站使用禁止IP的方式 阅读全文
posted @ 2016-09-05 19:08 骑一头小猪 阅读(353) 评论(0) 推荐(0) 编辑