摘要: 案例: 网易新闻的爬取: https://news.163.com/ 爬取的内容为一下4大板块中的新闻内容 爬取: 特点: 动态加载数据 ,用 selenium 爬虫 1. 创建项目 scrapy startproject wy 2. 创建爬虫 scrapy genspider wangyi www 阅读全文
posted @ 2019-04-21 19:56 冰底熊 阅读(1019) 评论(0) 推荐(0) 编辑
摘要: 爬取目标网站: http://www.chinanews.com/rss/rss_2.html 获取url后进入另一个页面进行数据提取 检查网页: 爬虫该页数据的逻辑: Crawlspider爬虫类: # -*- coding: utf-8 -*- import scrapy import re # 阅读全文
posted @ 2019-04-21 00:25 冰底熊 阅读(217) 评论(0) 推荐(0) 编辑