随笔- 66 文章- 0 评论- 2 阅读- 30817

11 2019 档案

摘要：代码如下所示 1 import scrapy 2 from scrapy.selector.unified import SelectorList 3 from bookspider.items import BooksItem 4 class BooksSpider(scrapy.Spider): 阅读全文

posted @ 2019-11-14 19:28 cfancy 阅读(157) 评论(0) 推荐(0) 编辑

爬虫———通过pipeline以及items 将数据以json类型存储

摘要：1、books.py 1 import scrapy 2 from scrapy.selector.unified import SelectorList 3 4 class BooksSpider(scrapy.Spider): 5 name = 'books' 6 allowed_domains 阅读全文

posted @ 2019-11-14 15:07 cfancy 阅读(802) 评论(0) 推荐(0) 编辑

爬取---Books to Scrape（第一页所有书名和价格）

摘要：1、首先在终端建立一个项目项目名为bookspider 建立过程在这里就略写了网站链接：http://books.toscrape.com/catalogue/page-1.html 2、打开文件spider——books.py文件以及settings.py文件重新配置settings.py文阅读全文

posted @ 2019-11-12 15:41 cfancy 阅读(1118) 评论(0) 推荐(0) 编辑

爬虫 ----zhihuuser

摘要：了解srcapy、Mongodb、pycharm 打开知乎官网——点开某个用户——点开该用户所关注的人——爬取他所有关注的用户首先win+R打开cmd终端——到某个盘下（例子中是在D盘下）建立项目文件步骤如下： 1.在cmd中输入（D盘某个文件下）scrapy startproject zhihu 阅读全文

posted @ 2019-11-07 15:54 cfancy 阅读(264) 评论(0) 推荐(0) 编辑