2017年6月25日
利用webmagic获取天猫评论
摘要： "引言" "爬取商品信息" "爬取商品评论" "数据清洗" 1. 引言 现代网页往往其HTML只有基本结构，而数据是通过AJAX或其他方法获取后填充，这样的模式对爬虫有一定阻碍，但是熟练以后获取并不困难，本文以爬取天猫评论为例简单讲讲动态获取以及自定义Pipeline进行数据清洗的过程。 2. 爬取 阅读全文
posted @ 2017-06-25 13:47 CieloSun 阅读(655) 评论(0) 推荐(0) 编辑