摘要: 一、效果演示 首页展示 播放页面 该项目部署只为学习,所以用的服务器是腾讯云服务器10元/月,域名也是在腾讯云买的.com 55元/年 因为本人比较穷 哈哈😁 这个服务器纯粹是为新手准备的,1M带宽 速度堪称蜗牛,不过价格是真心便宜,适合练手。。。 废话不多说下面我们开始项目部署 二、准备云服务器 阅读全文
posted @ 2019-08-14 22:29 叫我大表哥 阅读(7833) 评论(0) 推荐(3) 编辑
摘要: scrapy shell scrapy shell是一个交互式shell,您可以在其中快速调试 scrape 代码,而不必运行spider。它本来是用来测试数据提取代码的,但实际上您可以使用它来测试任何类型的代码,因为它也是一个常规的Python shell。 shell用于测试xpath或css表 阅读全文
posted @ 2019-08-14 19:24 叫我大表哥 阅读(503) 评论(0) 推荐(0) 编辑
摘要: 爬取流程 Spider类定义如何爬取指定的一个或多个网站,包括是否要跟进网页里的链接和如何提取网页内容中的数据。 爬取的过程是类似以下步骤的循环: spider类 爬虫参数 爬虫可以接受参数来改变它的行为。这些参数一般用来定义初始URL,或者限定爬取网站的部分内容,也可以用来配置其它任何功能。 在运 阅读全文
posted @ 2019-08-14 19:23 叫我大表哥 阅读(918) 评论(0) 推荐(0) 编辑