01 2020 档案
简单的scrapy命令和中间件
摘要:创建爬虫 scrapy genspider 名字 xxx.com 运行爬虫 运行名为usnews的爬虫scrapy crawl usnews​运行爬虫文件scrapy runspider quote_spider.py​保存到json文件里scrapy runspider quote_spider. 阅读全文
posted @ 2020-01-30 20:48 KD_131 阅读(222) 评论(0) 推荐(0)
写一个scrapy中间件--ip代理池
摘要:middleware文件# -*- coding: utf-8 -*- # Define here the models for your spider middleware # See documentation in: # https://docs.scrapy.org/en/latest/to 阅读全文
posted @ 2020-01-30 20:09 KD_131 阅读(707) 评论(0) 推荐(0)
Selenium
摘要:1. Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。 Selenium 可以根 阅读全文
posted @ 2020-01-23 11:13 KD_131 阅读(196) 评论(0) 推荐(0)
pyppeteer使用时常见的bug及基本使用(转)
摘要:pyppeteer使用时常见的bug及解决办法: https://blog.csdn.net/Mr__lqy/article/details/102626025 pyppeteer的基本使用: https://blog.csdn.net/Qwertyuiop2016/article/details/ 阅读全文
posted @ 2020-01-16 10:20 KD_131 阅读(256) 评论(0) 推荐(0)
python 双层for循环,在第二层的for循环中的else中的continue,会退出到第一层for循环继续执行
摘要:1 for a in [1,2,3,4,5]: 2 3 for b in [1,2,3]: 4 if a == b: 5 print("a = b = %s" % a) 6 break # 退出本次for循环,执行第一行的for循环 7 else: 8 print("a = %s" % a) 9 c 阅读全文
posted @ 2020-01-10 17:38 KD_131 阅读(1300) 评论(0) 推荐(0)
win10 安装虚拟机提示 主IP地址显示网络信息不可用
摘要:问题:在虚拟机详情下面显示 主ip地址:网络信息不可用 解决办法: 先root用户[root@dfhf~]#cd ..[root@dfhf/]#cd /etc/sysconfig/network-scripts进入network-sctipts然后ls会有个ifcfg-ens33的文件vi这个ifc 阅读全文
posted @ 2020-01-09 18:10 KD_131 阅读(6992) 评论(0) 推荐(0)