摘要： Scrapy框架课程介绍： 一scrapy框架的简介和基础使用 a) 概念：为了爬取网站数据而编写的一款应用框架，出名，强大。所谓的框架其实就是一个集成了相应的功能且具有很强通用性的项目模板。（高性能的异步下载，解析，持久化……） b) 安装： i. linux mac os:pip install 阅读全文

摘要： 动态爬取豆瓣电影中“更多”电影详情数据 开发中经验总结： 1、设置多个代理ip每次随机选取 2、在测试阶段建议先把数据下载到本地，在本地取保存的数据，避免被反爬处理，，导致因访问频繁无法进行数据处理 3、本次数据解析采用： 4、加深了对Beautiful Soup对象类型 Tag对象的理解 http 阅读全文