django--关于部署scrapyd项目报错问题
摘要：首先在同步两篇之前写过的博客，可能能用得到 1、https://www.cnblogs.com/lutt/p/10893192.html2、https://www.cnblogs.com/lutt/p/10895317.html在上述操作的过程中，在执行命令：scrapyd-deploy时遇报错：
阅读全文
posted @ 2020-02-22 12:56
随笔分类 - spider
将scrapy爬取数据通过django入到SQLite数据库
摘要：1. 在django项目根目录位置创建scrapy项目，django_12是django项目，ABCkg是scrapy爬虫项目，app1是django的子应用 2.在Scrapy的settings.py中加入以下代码 3.编写爬虫，下面代码以ABCkg为例，abckg.py 4.scrapy中ite
阅读全文
posted @ 2019-05-21 19:11
django--中运行scrapy框架
摘要：1.新建一个django项目， 2.前端展示一个按钮 3.在django项目的根目录创建scrapy项目 4.cmd命令行运行：scrapyd 启动服务 5.将scrapy项目部署到当前工程：scrapyd-deploy 爬虫名称 -p 项目名称 6.views.py 7.在本地6800端口点击jo
阅读全文
posted @ 2019-05-20 17:22
spider-通过scrapyd网页管理工具执行scrapy框架
摘要：1.首先写一个scrapy框架爬虫的项目 2.部署环境 3.在爬虫项目目录下输入命令：scrapyd，已经在本地6800端口运行 4.在爬虫根目录执行：scrapyd-deploy,如果提示不是内部命令，需要到python目录下scripts下新建一个名为scrapyd-deploy.bat的文件，
阅读全文
posted @ 2019-05-20 11:31
selenium爬取NBA并将数据存储到MongoDB
摘要：selenium：浏览器自动化测试框架 ，Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。 mongodb：是一个基于分布式文件存储的数据库。由C++语言编写。介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 业务需求： 将某网站的数据用py
阅读全文
posted @ 2019-05-05 00:16
彻底解决(Microsoft Visual C++ 14.0 is required)的步骤123
摘要：之前要用协程gevent，安装pip install gevent包时遇到Microsoft Visual C++ 14.0 is required的报错提示，各种下载没有解决很头疼， 前两天安装scrapy爬虫框架的时候pip install scrapy时也同样的遇到了Microsoft Vis
阅读全文
posted @ 2019-01-19 10:48
selenium获取文本
摘要：el.get_attribute(key) 获取key属性名对应的属性值 el.text 获取开闭标签之间的文本内容 1.对定位到的元素的操作 el.click() 对元素执行点击操作 el.submit() 对元素执行提交操作 el.clear() 清空可输入元素中的数据 el.send_keys
阅读全文
posted @ 2018-12-26 21:04
