摘要：
numba可以加速python代码，特别是numpy计算与for循环的操作，以下demo如果将装饰器注释掉，会发现代码运行慢很多很多。 from numba import jit import time @jit(nopython=True) def test(): sum = 0 for i in 阅读全文
摘要：
1.如何在case失败后做操作？ 需要在conftest文件中加入函数 pytest_exception_interact 如下： def pytest_exception_interact(node, call, report): if report.failed: # do somethings 阅读全文
摘要：
# xlsx追加写入内容 # value_list=[[],[],[]]会更快，减少了excel文件的打开保存 def write_excel_xlsx_append(path, sheet_name='summary', value_list=None): if value_list is Non 阅读全文
摘要：
工作神器：synergy 工作需要使用到两台计算机，并且系统还不一样，桌子上摆两套键鼠就显得很拥挤，然后发现了synergy这个神器，可以在局域网做到跨平台使用同一套键鼠。 Windows端下载安装 win10配置比较简单，网上找去相应的synergy下载即可，注意高版本的已经成收费模式，不过国内仍 阅读全文
摘要：
前言 我们在写爬虫的时候经常会遇到各种反爬措施，比如现在各种大型网站越来越多的js加载令人十分头疼。 这些网站的数据不像简单的网站一样可以直接拿取，我们经常会找不到数据源头，难道只能使用selenium来模拟浏览器拿取吗?当然不是的。 本文就以如何破解有道翻译的参数为例来一步步完成js的破解。 网页 阅读全文
摘要：
scrapy中的useragent与代理ip 方法一： user-agent我们可以直接在settings.py中更改，如下图，这样修改比较简单，但是并不推荐，更推荐的方法是修改使用scrapy的中间件middlewares.py 推荐方案： scrapy的中间件可以支持我们在对爬虫的请求进行定制化 阅读全文
摘要：
Xpath的text()与string(.) 我们在爬取网站使用Xpath提取数据的时候，最常使用的就是Xpath的text()方法，该方法可以提取当前元素的信息，但是某些元素下包含很多嵌套元素， 我们想一并的提取出来，这时候就用到了string(.)方法，但是该方法使用的时候跟text()不太一样 阅读全文
摘要：
前言 爬虫方向的小伙伴们都知道网页爬虫经常遇到的问题就是登录账户，有些简单的网站我们可以简单的send key来输入账户密码就可以登录，但是有很多网站需要验证码之类的就不太好用了，这时候就体现到了cookie登录的优点了，前段时间网上搜了搜，发现没有什么完整的教程，本文就使用selenium来coo 阅读全文
摘要：
前言 什么？你问我国庆七天假期干了什么？说出来你可能不信，我爬取了cxk坤坤的抖音粉丝数据，我也不知道我为什么这么无聊。 本文主要记录如何使用appium自动化工具实现抖音App模拟滑动，然后分析数据得到粉丝用户信息。 环境准备 fiddler appium mitmproxy(mitmdump) 阅读全文
摘要：
前言 几天没用scrapy爬网站了，正好最近在刷电影，就想着把自己常用的一个电影分享网站给爬取下来保存到本地mongodb中 项目开始 第一步仍然是创建scrapy项目与spider文件 切换到工作目录两条命令依次输入 scrapy startproject xunleidianying scrap 阅读全文