情难眠2 - 博客园

scrapy爬虫，cmd中执行日志中显示了爬取的内容，但是运行时隐藏日志后（运行命令后添加--nolog），就没有输出结果了

摘要： cmd下执行scrapy爬虫程序,不报错也没有输出,解决方案想要执行parse能够在cmd看到parse函数的执行结果：解决方法： settings.py 中设置 ROBOTSTXT_OBEY = False 案例： day96\day96\spiders\chouti.py # -*- cod 阅读全文

posted @ 2019-10-21 11:01 情难眠2 阅读(1054) 评论(0) 推荐(0) 编辑

scrapy,Twisted,pywin32安装

摘要：安装包链接百度云下载 https://pan.baidu.com/s/1V191nOtEDInxd_fkyi5siQ&shfl=sharepset 在安装相关软件之前必须查看版本号信息版本选择注意点注意不是下载amd 64 系列,否则会报错阅读全文

posted @ 2019-10-20 18:49 情难眠2 阅读(316) 评论(0) 推荐(0) 编辑

爬虫进阶

摘要：文章出处 https://www.cnblogs.com/wupeiqi/articles/6229292.html 性能相关在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 import requests def fetch_asy 阅读全文

posted @ 2019-10-20 11:38 情难眠2 阅读(147) 评论(0) 推荐(0) 编辑

爬虫相关

摘要：文章出处 https://www.cnblogs.com/wupeiqi/articles/6283017.html requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。阅读全文

posted @ 2019-10-16 08:35 情难眠2 阅读(89) 评论(0) 推荐(0) 编辑

索引补充,命中索引

摘要： 1、索引索引是表的目录，在查找内容之前可以先在目录中查找索引位置，以此快速定位查询数据。对于索引，会保存在额外的文件中。 2、索引种类普通索引：仅加速查询唯一索引：加速查询 + 列值唯一（可以有null）主键索引：加速查询 + 列值唯一 +　表中只有一个（不可以有null）组合索引：多列值阅读全文

posted @ 2019-10-12 23:53 情难眠2 阅读(188) 评论(0) 推荐(0) 编辑

数据库中的视图

摘要：视图视图是一个虚拟表（非真实存在），其本质是【根据SQL语句获取动态的数据集，并为其命名】，用户使用时只需使用【名称】即可获取结果集，并可以将其当作表来使用。 SELECT * FROM ( SELECT nid, NAME FROM tb1 WHERE nid > 2 ) AS A WHERE 阅读全文

posted @ 2019-10-12 23:05 情难眠2 阅读(247) 评论(0) 推荐(0) 编辑

SQLAlchemy操作

摘要： SQLAlchemy 一. 介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 ? 1 pip3 install sqlalchemy 组成阅读全文

posted @ 2019-10-12 13:35 情难眠2 阅读(241) 评论(0) 推荐(0) 编辑

MySQLdb操作数据库

摘要：堡垒机前戏开发堡垒机之前，先来学习Python的paramiko模块，该模块机遇SSH用于连接远程服务器并执行相关操作 SSHClient 用于连接远程服务器并执行基本命令基于用户名密码连接： + View Code? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 阅读全文

posted @ 2019-10-12 12:30 情难眠2 阅读(266) 评论(0) 推荐(0) 编辑

SQL补充