06 2019 档案
发表于 2019-06-29 18:00阅读次数:509评论次数:0
摘要:一. 模板项目 姑且将模板中的项目成为为模板项目。上篇文章说过,这是一个关于英语中元音的项目,统计单词中包含几个元音 二. Contexts 注意到,example.spec文件中有下面几行,第11行的step表示上下文step 上下文,官网给出的解释是,一个或多个Context step位于一个s
阅读全文 »
发表于 2019-06-29 17:03阅读次数:877评论次数:0
摘要:一. step、scenario、spec、suite 开始看gauge可能有点困惑,因为官网给的例子example.spec如下,看的是一脸懵逼 可以看到,上述markdown描述文件中都有哪些关键词:specifition、scenario、step、tag等等,用类比的方法比较好理解一点: s
阅读全文 »
发表于 2019-06-29 14:35阅读次数:664评论次数:0
摘要:一. 为什么要用gauge 对于单接口自动化测试,python中的requests+ddt+excel+unittest是一个不错的选择,对于描述多接口组合的场景,这个框架显得有点问题了。首先,如果将多个接口用excel中的合并单元格表示,也不是不可以,但是excel管理数据有个问题,必须打开exc
阅读全文 »
发表于 2019-06-24 10:14阅读次数:1791评论次数:0
摘要:早上起来,发现splash服务已经起来了,http://localhost:8050怎么也打不开 后来各种百度,发现有篇文章里说,原因是服务的IP为192.168.99.100,回去看了一把,果然是 也可以用命令docker-machine ip default查看 再次访问就可以了 参考文章 ht
阅读全文 »
发表于 2019-06-23 18:55阅读次数:374评论次数:0
摘要:直接上代码 运行结果
阅读全文 »
发表于 2019-06-23 14:57阅读次数:780评论次数:0
摘要:不多说了,上代码: 运行结果: MongoDB存储效果:
阅读全文 »
发表于 2019-06-22 16:35阅读次数:5171评论次数:0
摘要:BeautifulSoup是Python的一个HTML或XML的解析库,可以用它来方便地从网页提取数据(以下为崔庆才的爬虫书的学习笔记) 一. 安装方式 二. 基本语法 1. 节点选择器:基本用法 假如想要获取上述html中的title节点及其文本内容,请看以下语法: 引入并初始化beautiful
阅读全文 »
发表于 2019-06-16 16:58阅读次数:675评论次数:0
摘要:报错代码: 报错原因:用urllib.request.urlopen方式打开一个URL,服务器只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统等信息,而缺失这些信息的访问往往都是非正常访问,会被一些网站禁止掉 解决办法:在headers中加入UserAge
阅读全文 »
发表于 2019-06-15 22:20阅读次数:1320评论次数:1
摘要:windows上pip install scrapyd-client,发现出错了: 后来百度,找了一篇文章,需要在python的Scripts目录下增加scrapyd-deploy.bat文件(bat文件python.exe和scrapyd-deploy的绝对路径因人而异) 再次运行,发现就可以了
阅读全文 »
发表于 2019-06-15 22:04阅读次数:588评论次数:0
摘要:崔庆才的爬虫书上写道:pip install scrapyd安装完毕之后,需要新建一个配置文件/etc/scrapyd/scrapyd.conf,scrapyd在运行的时候会读取此配置文件 这是针对于Linux来说,但没有提到windows要不要新建。于是,我用Everything搜索了一下关键字s
阅读全文 »
发表于 2019-06-15 21:35阅读次数:1321评论次数:0
摘要:docker toolbox是一个docker组件的集合,还包括一个极小的虚拟机,在windows宿主机上安装了一个支持命令行工具,并提供了一个docker环境 docker toolbox自带了很多组件,包括: virtualbox; docker客户端; docker compose; Kite
阅读全文 »
发表于 2019-06-15 17:46阅读次数:1227评论次数:0
摘要:接着上一篇,本来以为pyspider装成功了,后来失业pyspider all验证时,发现又报错了: 原因是从python 3.7开始async和await已经加入保留的关键字中,所以async不能最为函数的参数名 使用Notepad++将run.py中的async统一改为async1,重新运行py
阅读全文 »
发表于 2019-06-15 15:34阅读次数:369评论次数:0
摘要:使用pip install pyspider时,报错: 这是pycurl安装错误,需要安装pycurl库。从https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的python版本,通过pip install whl文件即可。成功后,再次pip
阅读全文 »
发表于 2019-06-15 12:05阅读次数:995评论次数:0
摘要:pip install tesserocr pillow时,提示: 按照给的提示,进到微软官网,啥都没有,pip的安装报错提示是时候更新一波了~ 在网上找Microsoft Visual C++的资料,十分稀少,只能采用wheel安装编译后的压缩包。whl文件本质上是一个压缩包,里面包含了py文件以
阅读全文 »
发表于 2019-06-15 11:07阅读次数:1208评论次数:0
摘要:安装firefox驱动geckodriver不用像chrome驱动一样找对应版本号,直接去github上下载最新的releases版本即可,按照崔庆才《Python3网络爬虫开发实战》来装,发现验证环节,在cmd中输入geckodriver,应该输出一些信息,类似于这样的: 实际上,可能由于我的驱动
阅读全文 »
发表于 2019-06-13 23:22阅读次数:10438评论次数:0
摘要:在jenkins新建工程,配置源码管理时,发现输入gitlab的Repository URL,总会抛出一个错误: 后来在网上各种百度,终于找到了一篇比较靠谱的文章,顺着文章的提示,去Manage Jenkins—Global Tool Configuration里面查看 发现找不到git.exe,因
阅读全文 »
发表于 2019-06-12 23:43阅读次数:993评论次数:0
摘要:有时候,我们将某些文件放到git工作目录,但又不能提交它们,比如保存了数据库账号密码的配置文件等。git为我们提供了一个解决办法,在git工作区的根目录下创建一个特殊的.gitignore文件,将要忽略的文件名(或格式)填进去,git就会自动忽略这些文件 因为平时主要用python和pycharm,
阅读全文 »
发表于 2019-06-12 23:25阅读次数:2335评论次数:0
摘要:一. 本地虚拟机的缺点 本地虚拟机虽然也可以模拟服务器用,但电脑不能保证24小时都是开机的,一旦关机,服务就失去了连接,你将看到我们之前搭建的gitlab服务出现如下画面: 本地电脑7*24小时不关机是不现实的,但是可以保证,一旦虚拟机启动,服务也响应启动,而不是服务启动了,发现防火墙开机自启了,本
阅读全文 »
发表于 2019-06-11 22:25阅读次数:786评论次数:0
摘要:如何设置SSH key 一般来说,搭建好的gitlab需要设置SSH key才可以pull或者push项目代码,那么怎么设置SSH key呢? 1. 利用cmder自带的git-bash.exe 如果你已安装了cmder的完整版,那么恭喜你,可以不用安装git for windows了。因为它已经集
阅读全文 »
发表于 2019-06-11 21:46阅读次数:766评论次数:0
摘要:一. 为什么要装gitlab 在pycharm上使用gitlab或者svn,如果让我选,一定会选择gitlab。svn这种版本管理的方式比较陈旧,gitlab上的项目一目了然,还可以自由编辑,风格是比较友好的 先说一说我的计划,首先在本地虚拟机上安装gitlab和jenkins,在jenkins上配
阅读全文 »