摘要: 一、scrapy基本操作 Scrapy简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Ass 阅读全文
posted @ 2018-07-13 18:18 魏xx 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 一、BeautifulSoup安装 二、使用示例 1.name标签名称 2.attr标签属性 3.find与find_all查找区别 4.clear,将标签的所有子标签全部清空(保留标签名) 5.has_attr,检查标签是否具有该属性 6.get_text,获取标签内部文本内容 7.decompo 阅读全文
posted @ 2018-07-13 16:56 魏xx 阅读(1769) 评论(1) 推荐(1) 编辑