上一页 1 ··· 3 4 5 6 7
摘要: 1、books.py 1 import scrapy 2 from scrapy.selector.unified import SelectorList 3 4 class BooksSpider(scrapy.Spider): 5 name = 'books' 6 allowed_domains 阅读全文
posted @ 2019-11-14 15:07 cfancy 阅读(800) 评论(0) 推荐(0) 编辑
摘要: 1、首先在终端建立一个项目 项目名为bookspider 建立过程在这里就略写了 网站链接:http://books.toscrape.com/catalogue/page-1.html 2、打开文件spider——books.py文件以及settings.py文件 重新配置settings.py文 阅读全文
posted @ 2019-11-12 15:41 cfancy 阅读(1066) 评论(0) 推荐(0) 编辑
摘要: 了解srcapy、Mongodb、pycharm 打开知乎官网——点开某个用户——点开该用户所关注的人——爬取他所有关注的用户 首先win+R打开cmd终端——到某个盘下(例子中是在D盘下)建立项目文件步骤如下: 1.在cmd中输入(D盘某个文件下)scrapy startproject zhihu 阅读全文
posted @ 2019-11-07 15:54 cfancy 阅读(253) 评论(0) 推荐(0) 编辑
摘要: # 什么叫算法 # 计算的方法:人脑复杂 计算机简单 #99*13=1287=13*100-13 #查找 :找数据 #排序 : #最短路径 比如 百度地图指路 # 我们学习的算法,都是过去式 # 了解基础的算法 才能创造出更好的算法 # 不是所有的事情都能套用现成的方法解决的 # 有些时候会用到学过的算法知识来解决新的问题 #二分查找算法 必须处理有序的列表 l = [2,... 阅读全文
posted @ 2019-10-21 20:41 cfancy 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 例如下面一个小例子: 阅读全文
posted @ 2019-10-21 19:46 cfancy 阅读(88) 评论(0) 推荐(0) 编辑
摘要: 一、BeautifulSoup4 结果为: 二、scrapy 爬取抽屉新热榜 1.首先win+r 打开cmd 2.建立项目文件 如在D盘下的某个文件夹下建立某个文件 输入D:后回车 输入cd cxf 回车 输入dir 查看该目录下的文件 输入scrapy startproject 项目名称 输入sc 阅读全文
posted @ 2019-10-20 20:49 cfancy 阅读(119) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7