随笔分类 -  爬虫

python写爬虫遇到需要解码js一些记录
摘要：js在线格式化网站 https://beautifier.io/ Python 执行 JS 代码 NodeJS 安装方式 先解决 JS 环境，这里推荐安装 Node.js ，安装方便，执行效率也高。 https://nodejs.org/zh cn/ 然后 就可以了。 使用例子 PyV8 这是 Go 阅读全文
posted @ 2019-07-21 22:49 lvusyy 阅读(775) 评论(0) 推荐(0) 编辑
python的协程,monkeyPatch
摘要：monkey patch 一般指运行时候进行动态替换. 基本上我们使用gevent,会在最开头的地方加入 ;把标准库中的 等给替换掉.这样我们在后面使用socket的时候它会变成非阻塞的了.而我们却什么也不用做. 一个案列 最快访问结束的会在第一位,最慢的会在最后一位. 输出结果: 阅读全文
posted @ 2019-07-16 00:41 lvusyy 阅读(1122) 评论(0) 推荐(0) 编辑
Appium获取toast消息
摘要：Android获取toast，需要在参数里设置automationName：Uiautomator2 运行脚本，如果提示Uiautomator2错误， 需要更新appium1.6.3以上才能识别toast. https://github.com/appium/appium desktop/relea 阅读全文
posted @ 2019-07-11 21:46 lvusyy 阅读(395) 评论(0) 推荐(0) 编辑
fiddler在小米8下抓取https数据包.
摘要：问题,在小米8下一直报 证书链问题,爬了半天帖子发现可能是Android版本问题,有的说用Charles没问题. 没有测试,网上接着爬帖子... 稍稍说下导入证书的问题吧. 可以使用浏览器下载证书,也可以直接在pc上导出证书后再传到手机中安装. 安装的话也有两个方法. 1.在wan 高级设置 安装证 阅读全文
posted @ 2019-07-11 14:35 lvusyy 阅读(2425) 评论(0) 推荐(0) 编辑
xpath简介备查
摘要：xpath简介 xpath 使用路径表达式在xml和html中进行导航 xpath包含标准函数库 xpath是一个w3c的标准 xpath节点关系 1. 父节点 2. 子节点 3. 同袍节点 4. 先辈节点 5. 后代节点 xpath语法 | 表达式 | 说明 | | | | | article | 阅读全文
posted @ 2019-07-01 15:00 lvusyy 阅读(192) 评论(0) 推荐(0) 编辑
anaconda安装和配置和基本使用
摘要：conda是个商业化公司，所以没有授权不能随便建立其镜像。虽说说的是发邮件询问基本上就能够拿到授权，然而现实是国内的各大开源镜像站都拿不到。 这个事情最近有进展了. 清华大学的镜像源已经拿到授权了 (但是好像仅限教育相关机构开放权限.) .所以我们现在还可以舒服的玩耍了. 下载安装 https:// 阅读全文
posted @ 2019-07-01 12:18 lvusyy 阅读(1577) 评论(0) 推荐(0) 编辑