五杀摇滚小拉夫

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2018年9月18日

摘要: Scrapy 对接 Selenium(参考代码网址,https://github.com/Python3WebSpider/ScrapySeleniumTest) 此文就是参考书上的代码拿下来跑,作为借鉴,很多地方都不是很理解,也是我第一次使用mongodb入库数据,一直用的都是mysql对mongodb这种关系型数据库用的并不多,今天就是拿代码跑一下理解作者的整个思路有待消化。主要核心: Do... 阅读全文
posted @ 2018-09-18 17:33 五杀摇滚小拉夫 阅读(764) 评论(0) 推荐(0) 编辑

摘要: Studio 3T 链接地址:https://pan.baidu.com/s/1X-Sqk50Xm76NJIZOz0ehFw 密码:td2a安装配置成功链接本地如图所示: 阅读全文
posted @ 2018-09-18 16:21 五杀摇滚小拉夫 阅读(384) 评论(2) 推荐(0) 编辑

摘要: 2.连接MongoDB 未开启服务 连接成功!!!!! 打开mongodb.exe 阅读全文
posted @ 2018-09-18 13:34 五杀摇滚小拉夫 阅读(153) 评论(0) 推荐(0) 编辑

摘要: 对于scrapy的部署方式1.Scrapyd 安装扩展组件,远程控制scrapy任务,包括部署源代码,启动任务,监听任务。scrapy-client 、scrapyd api 协助完成部署和监听操作。2.Docker集群部署,将爬虫制作成Docker镜像,主机安装Docker,直接运行爬虫,无需考虑配置环境,版本问题。简述Docker的作用:Docker 是一种容器技术,可将应用和环境打包,形成... 阅读全文
posted @ 2018-09-18 10:12 五杀摇滚小拉夫 阅读(154) 评论(0) 推荐(0) 编辑